Self-Supervised Learning

Self-Supervised Learning (selbstüberwachtes Lernen) löst eines der größten Probleme des klassischen maschinellen Lernens: den Mangel an beschrifteten Trainingsdaten. Statt von Menschen manuell gelabelte Datensätze zu benötigen, erzeugt sich das Modell aus den Rohdaten selbst Aufgaben und damit Trainingssignale.

Bei Sprachmodellen wird etwa ein Wort im Satz verdeckt und das Modell muss es vorhersagen ("Maskierte Sprachmodellierung"). Bei Bildern können Bildteile entfernt und rekonstruiert werden. Aus diesen automatisch generierten Aufgaben lernt das Modell tiefes Verständnis für Struktur und Bedeutung der Daten.

Self-Supervised Learning ist die Schlüsseltechnologie hinter Foundation Models wie BERT, GPT oder den Vision-Transformern. Sie erlaubt es, praktisch unbegrenzte Mengen an Daten aus dem Internet als Trainingsmaterial zu nutzen, ohne aufwändige manuelle Annotation und ist damit ein Hauptgrund für den schnellen Fortschritt großer Sprachmodelle.