Alle Begriffe mit dem Tag «Sprachmodelle»
18 Einträge im KI-Lexikon
Basismodelle
Basismodelle sind große maschinelle Lernmodelle, die auf Basis einer großen Menge allgemeiner Daten trainiert wurden. Nach diesem…
BERT
Wegweisendes Sprachmodell von Google (2018), das die Verarbeitung natürlicher Sprache durch bidirektionales Kontextverständnis…
Chain-of-Thought (CoT)
Technik, bei der KI-Modelle Probleme schrittweise durchdenken, bevor sie antworten – die Grundlage aller modernen Reasoning-Modelle.
Claude
Familie großer Sprachmodelle des KI-Unternehmens Anthropic. Bekannt für lange Kontextfenster, Sicherheitsfokus und besonders natürliche,…
Gemini
Familie multimodaler Sprachmodelle von Google DeepMind. Bekannt für native Bild-, Audio- und Videoverarbeitung sowie tiefe Integration in…
Halluzination
Phänomen, bei dem KI-Modelle überzeugend klingende, aber faktisch falsche oder frei erfundene Informationen generieren – eine der größten…
Kontextfenster (Context Window)
Die maximale Menge an Text (gemessen in Tokens), die ein Sprachmodell gleichzeitig verarbeiten kann – entscheidend für die Arbeit mit…
Large Language Models
Large Language Models (LLMs) sind große maschinelle Lernmodelle, die auf riesigen Textmengen trainiert wurden. Sie können natürliche…
Llama
Familie offener großer Sprachmodelle von Meta (Facebook), deren Gewichte frei zugänglich sind. Grundlage zahlreicher firmeneigener…
LoRA (Low-Rank Adaptation)
Effiziente Fine-Tuning-Methode, die nur einen kleinen Teil der Modellparameter anpasst – ideal für kostengünstiges Anpassen großer…
Mixture of Experts (MoE)
Modellarchitektur, bei der viele spezialisierte Teilnetzwerke („Experten") vorhanden sind, aber pro Anfrage nur wenige aktiviert werden –…
Pretraining
Erste Trainingsphase eines KI-Modells, in der es auf riesigen, allgemeinen Datenmengen grundlegende Muster und Sprache lernt, bevor es…
RAG (Retrieval-Augmented Generation)
Methode, die KI-Sprachmodelle mit externen Wissensquellen verbindet, um genauere, aktuellere und überprüfbare Antworten zu erzeugen.
Reasoning Models
Neue Generation von Sprachmodellen, die vor der Antwort intern strukturiert nachdenken und so komplexe Probleme deutlich zuverlässiger…
RoPE (Rotary Positional Embeddings)
Technik in Sprachmodellen, die Positionsinformationen von Wörtern im Text durch Rotationsmatrizen kodiert, um Bedeutungszusammenhänge…
Small Language Models (SLMs)
Kompakte Sprachmodelle mit 1–7 Milliarden Parametern, die effizient auf Endgeräten laufen können und für viele Anwendungsfälle ausreichend…
Speculative Decoding
Beschleunigungstechnik für die Token-Generierung in Sprachmodellen: Ein kleines, schnelles Modell schlägt Tokens vor, das große Modell…
Tokenisierung
Der Prozess, bei dem Text in kleinere Einheiten (Tokens) zerlegt wird, bevor er von einem Sprachmodell verarbeitet werden kann – ein…