Emergent Abilities

Emergent Abilities (emergente Fähigkeiten) beschreiben das überraschende Phänomen, dass große KI-Modelle plötzlich Fähigkeiten zeigen, die in kleineren Modellen praktisch nicht vorhanden sind und sich nicht aus dem direkten Trainingsziel ableiten lassen. Mit wachsender Modellgröße kippen bestimmte Aufgaben sprunghaft von "kann es nicht" zu "kann es gut".

Typische Beispiele sind mehrstufiges logisches Schlussfolgern, sinnvolles Chain-of-Thought-Verhalten, das Lösen neuer Aufgaben aus wenigen Beispielen (In-Context-Learning) oder das Befolgen komplexer Anweisungen. Kleine Sprachmodelle scheitern an diesen Aufgaben weitgehend zufällig, große Modelle lösen sie zuverlässig. Der Übergang verläuft oft sprunghaft.

Emergente Fähigkeiten sind einer der Gründe, warum große Sprachmodelle so wirkmächtig geworden sind und gleichzeitig der Grund für die Schwierigkeit, ihr Verhalten zuverlässig vorherzusagen. In der Forschung wird kontrovers diskutiert, ob "Emergenz" ein echtes Phänomen ist oder ein Artefakt der gewählten Messmetriken. Praktisch relevant: Manche Eigenschaften lassen sich nicht aus kleinen Modellen extrapolieren, sondern zeigen sich erst in voller Skalierung.