BERT

BERT (Bidirectional Encoder Representations from Transformers) ist ein 2018 von Google vorgestelltes Sprachmodell, das die Verarbeitung natürlicher Sprache grundlegend verändert hat. Es war eines der ersten Modelle, das Wörter konsequent im Kontext sowohl der vorausgehenden als auch der nachfolgenden Wörter interpretiert, daher das "bidirektional" im Namen.

Trainiert wurde BERT unter anderem mit der Aufgabe, in einem Satz maskierte Wörter vorherzusagen (Masked Language Modeling), und mit der Vorhersage, ob zwei Sätze inhaltlich zusammengehören. Aus diesem Pretraining entstand ein universelles Sprachverständnis, das sich durch Finetuning auf zahlreiche Aufgaben übertragen ließ: Klassifikation, Frage-Antwort-Systeme, Named Entity Recognition oder Sentiment-Analyse.

BERT bildete die Grundlage für Googles Suchalgorithmus und löste eine Welle bidirektionaler Encoder-Modelle aus (RoBERTa, ALBERT, DistilBERT, deutsches GermanBERT). Auch wenn heutige generative Modelle wie GPT oder Claude im Rampenlicht stehen, sind BERT und seine Nachfolger in vielen produktiven NLP-Systemen, von Suchmaschinen bis zu Dokumentenklassifikatoren, bis heute im Einsatz.