Scaling Laws

Scaling Laws sind empirische Beobachtungen, die zeigen, wie die Leistung großer KI-Modelle systematisch davon abhängt, wie viele Parameter sie haben, wie viel Trainingsdaten ihnen zur Verfügung stehen und wie viel Rechenleistung in das Training fließt. Sie wurden ab 2020 maßgeblich von Forschungsgruppen bei OpenAI und DeepMind formalisiert.

Eine zentrale Erkenntnis: Die Vorhersagegenauigkeit eines Sprachmodells folgt erstaunlich vorhersagbaren Kurven, wenn man Größe, Daten und Compute zusammen skaliert. Das DeepMind-Paper zu "Chinchilla" (2022) zeigte zudem, dass bei festem Budget Daten und Modellgröße ausgewogen wachsen müssen, viele Modelle waren historisch zu groß für ihre Datenmenge.

Scaling Laws sind ein zentrales Werkzeug der KI-Strategie: Sie erlauben großen Laboren, vor dem Training abzuschätzen, wie viel Verbesserung ein neues, teureres Modell bringen wird. Gleichzeitig sind sie umstritten. Manche Forschende erwarten, dass reines Skalieren irgendwann an Grenzen stößt und andere Hebel (Reasoning, Daten, Architekturen) wichtiger werden.