LoRA (Low-Rank Adaptation)

LoRA (Low-Rank Adaptation) ist eine Methode zum effizienten Fine-Tuning großer Sprachmodelle, bei der nicht das gesamte Modell neu trainiert wird, sondern nur kleine, zusätzliche Gewichtsmatrizen mit niedrigem Rang eingefügt werden. Diese Adapter-Matrizen fangen die aufgabenspezifischen Anpassungen auf, während die ursprünglichen Modellgewichte eingefroren bleiben.

Der Vorteil ist enorm: Statt Milliarden Parameter zu aktualisieren, werden nur wenige Millionen trainiert – oft weniger als 1 % der Gesamtparameter. Das reduziert den Speicherbedarf, die Trainingszeit und die Kosten drastisch. Ein vollständiges Fine-Tuning eines 70-Milliarden-Parameter-Modells erfordert mehrere High-End-GPUs, während LoRA oft auf einer einzigen GPU durchführbar ist.

LoRA ist seit 2025 die Standard-Methode für die Anpassung von Sprachmodellen an unternehmensspezifische Anforderungen. Weiterentwicklungen wie QLoRA (Quantized LoRA) reduzieren den Ressourcenbedarf noch weiter, indem sie das Basismodell zusätzlich quantisieren. Typische Anwendungen sind die Anpassung an Fachvokabular, Unternehmensrichtlinien, Schreibstile oder branchenspezifische Aufgaben – ohne die allgemeinen Fähigkeiten des Modells zu verlieren.