Transformer

Transformer bezeichnen eine Architektur für neuronale Netze, die seit 2017 die Grundlage nahezu aller modernen Sprachmodelle bildet. Sie wurde im Forschungspapier "Attention Is All You Need" von Google vorgestellt und hat ältere Ansätze wie rekurrente Netze weitgehend abgelöst. Das "T" in bekannten Modellnamen wie GPT (Generative Pre-trained Transformer) oder BERT steht genau für diese Architektur.

Der zentrale Baustein eines Transformers ist der sogenannte Aufmerksamkeitsmechanismus (Attention). Vereinfacht gesagt bewertet das Modell für jedes Wort in einem Satz, wie stark es mit jedem anderen Wort zusammenhängt. So kann es auch über lange Textabschnitte hinweg Bezüge erkennen, etwa zwischen einem Pronomen und dem dazugehörigen Substantiv mehrere Sätze vorher. Anders als frühere Architekturen verarbeitet ein Transformer dabei nicht Wort für Wort nacheinander, sondern den gesamten Text parallel. Das macht das Training auf modernen Grafikkarten sehr effizient und ermöglicht erst die heutigen grossen Sprachmodelle mit Milliarden von Parametern. Neben Sprache werden Transformer inzwischen auch für Bilder, Audio, Programmcode und sogar für die Vorhersage von Proteinstrukturen eingesetzt.

Für kleine und mittlere Unternehmen ist die Transformer-Architektur selten ein Thema, mit dem man sich direkt beschäftigt — sie steckt aber unter der Haube fast aller KI-Werkzeuge, die im Arbeitsalltag eine Rolle spielen. Chatbots wie ChatGPT, Übersetzungsdienste wie DeepL, Microsoft Copilot, automatische Transkription von Besprechungen oder die intelligente Suche in Dokumenten basieren auf Transformer-Modellen. Wer als Selbstständiger oder Mittelständler überlegt, KI im Kundenservice, im Marketing oder in der Sachbearbeitung einzusetzen, nutzt damit in aller Regel Transformer-Technologie — auch wenn der Anbieter das nicht explizit erwähnt. Wichtig ist zu wissen, dass solche Modelle hohe Rechenleistung benötigen und deshalb meist als Cloud-Dienst eingekauft werden, was Fragen zu Datenschutz und laufenden Kosten aufwirft.

Die Transformer-Architektur gilt aktuell als wichtigster Treiber des KI-Booms. Ihre Grenzen liegen in einem hohen Energieverbrauch, der Abhängigkeit von riesigen Trainingsdatenmengen und der Tendenz, plausibel klingende, aber falsche Aussagen zu erzeugen (sogenannte Halluzinationen).