Kontextfenster (Context Window)

Das Kontextfenster (Context Window) bezeichnet die maximale Anzahl an Tokens, die ein Sprachmodell bei einer einzelnen Anfrage gleichzeitig verarbeiten kann. Es umfasst sowohl die Eingabe (Prompt, Systemanweisungen, Konversationshistorie) als auch die generierte Antwort.

Die Größe des Kontextfensters hat sich rasant entwickelt: Frühe GPT-Modelle hatten 2.000–4.000 Tokens, während aktuelle Modelle wie Claude (200.000 Tokens), Gemini (bis 2 Millionen Tokens) und GPT-4 (128.000 Tokens) deutlich mehr verarbeiten können. Dies ermöglicht die Analyse ganzer Bücher, umfangreicher Codebases oder langer Gesprächsverläufe in einer einzigen Anfrage.

Für den praktischen Einsatz hat die Kontextfenstergröße direkte Auswirkungen: Ein größeres Fenster erlaubt die Verarbeitung umfangreicherer Dokumente ohne Aufteilung, längere Konversationen ohne Gedächtnisverlust und komplexere Prompts mit mehr Beispielen (Few-Shot Learning). Allerdings steigen mit der Kontextlänge auch Rechenkosten und Antwortzeit. Zudem zeigen Studien, dass viele Modelle Informationen in der Mitte langer Kontexte schlechter abrufen als am Anfang oder Ende (Lost-in-the-Middle-Problem). Techniken wie RoPE ermöglichen eine effiziente Erweiterung des Kontextfensters.