KL-Divergenz

Die Kullback-Leibler-Divergenz (KL-Divergenz) ist ein Maß aus der Informationstheorie, das angibt, wie weit eine Wahrscheinlichkeitsverteilung von einer anderen abweicht. Anschaulich: Wie viel Information geht verloren, wenn man eine echte Verteilung durch eine Modellverteilung ersetzt?

Die KL-Divergenz ist nicht symmetrisch, die Abweichung von Verteilung A zu B ist nicht zwangsläufig dieselbe wie von B zu A. Sie ist null, wenn beide Verteilungen identisch sind, und wächst, je stärker sie auseinandergehen. Anders als eine echte Distanz erfüllt sie also nicht die Dreiecksungleichung.

In der KI ist die KL-Divergenz allgegenwärtig: beim Training von Variational Autoencoders, in Reinforcement-Learning-Verfahren wie PPO, beim Knowledge Distillation und beim Alignment großer Sprachmodelle. Sie hilft, ein Modell so anzupassen, dass seine vorhergesagte Verteilung möglichst nah an einer Zielverteilung liegt, etwa an menschlichen Präferenzen oder an einem Referenzmodell.