Structured Output

Structured Output (auch JSON Mode oder Structured Generation) bezeichnet einen Betriebsmodus großer Sprachmodelle, in dem die Ausgabe nicht in freiem Text, sondern in einem strukturierten, maschinenlesbaren Format erfolgt, typischerweise JSON, optional nach einem klar definierten Schema (z. B. JSON Schema oder einem Pydantic-Modell).

Im Hintergrund stellen die Anbieter sicher, dass das Modell wirklich nur gültige Strukturen erzeugt: durch eingeschränktes Decoding, Grammatikführung (constrained generation) oder spezialisiertes Finetuning. Damit lässt sich vermeiden, dass das Modell ein "fast richtiges" JSON ausgibt, das beim Parsen scheitert.

Für die Integration in Software ist Structured Output ein Game Changer: KI-Antworten lassen sich direkt in Datenbanken speichern, an APIs weitergeben oder in UIs anzeigen. Praktisch alle großen LLM-Anbieter (OpenAI, Anthropic, Google) unterstützen Structured Output inzwischen nativ, ebenso Frameworks wie Instructor, Outlines oder Pydantic AI. Anwendungsfelder sind unter anderem Extraktion aus Dokumenten, Ticket-Klassifikation, Form-Filling, Function Calling und Datenanreicherung.