Finetuning
Finetuning bezeichnet die Anpassung eines vortrainierten KI-Modells auf eine spezifische Aufgabe oder einen spezifischen Datensatz. Wir können uns das vorstellen wie eine gezielte Weiterbildung für ei...
Finetuning bezeichnet die gezielte Nachschulung eines bereits vortrainierten KI-Modells auf eine spezifische Aufgabe, eine bestimmte Branche oder einen eigenen Datenbestand. Das Grundmodell bringt dabei breites Allgemeinwissen mit, das durch zusaetzliches Training mit ausgewaehlten Beispielen verfeinert wird. So entsteht aus einem universellen Werkzeug ein Spezialist fuer einen klar umrissenen Zweck.
Technisch werden dem Modell waehrend des Finetunings hunderte bis tausende Beispielpaare aus Eingabe und gewuenschter Ausgabe gezeigt. Es passt seine internen Gewichte schrittweise an, bis es die gewuenschten Muster zuverlaessig reproduziert. Im Gegensatz zum vollstaendigen Training von Grund auf, das enorme Rechenleistung und Datenmengen erfordert, ist Finetuning vergleichsweise schlank und guenstig. Eingesetzt wird es etwa, um Sprachmodelle auf den Tonfall eines Unternehmens zu trimmen, juristische oder medizinische Fachsprache zu vermitteln oder Bilderkennung auf bestimmte Produktkategorien zu spezialisieren. Moderne Verfahren wie LoRA oder QLoRA reduzieren den Aufwand zusaetzlich, da nur ein kleiner Teil des Modells angepasst wird.
Fuer kleine und mittelstaendische Unternehmen wird Finetuning vor allem dort interessant, wo allgemeine KI-Werkzeuge an ihre Grenzen stossen. Ein Steuerbuero kann ein Sprachmodell auf die eigenen Mandantenschreiben anpassen, ein Maschinenbauer es mit internen Handbuechern und Ersatzteillisten verfeinern, ein Onlinehaendler Produktbeschreibungen im hauseigenen Stil generieren lassen. Anbieter wie OpenAI, Google, Mistral oder Open-Source-Plattformen stellen entsprechende Werkzeuge bereit, sodass auch ohne eigenes Forschungsteam ein angepasstes Modell entstehen kann. Wichtig ist eine saubere Datenbasis, denn die Qualitaet der Trainingsbeispiele bestimmt direkt das Ergebnis.
Vor einem Finetuning lohnt allerdings die Frage, ob einfachere Wege ausreichen. Oft erreicht man mit guten Anweisungen im Prompt oder mit Retrieval-Augmented Generation, also dem gezielten Nachschlagen in eigenen Dokumenten, vergleichbare Ergebnisse bei geringerem Aufwand. Finetuning entfaltet seinen Wert dort, wo gleichbleibender Stil, festes Format oder spezielles Fachwissen dauerhaft gefragt sind.
Verwandte Begriffe
Annotation
Im Kontext der künstlichen Intelligenz (KI) bezieht sich Annotation auf den Prozess, bei dem Daten…
Classification
Im Bereich der künstlichen Intelligenz (KI) bezieht sich Klassifikation auf eine Art des…
Hyperparameter
Hyperparameter sind Konfigurationsparameter, die vor dem Training eines maschinellen Lernmodells…
KI Modell
Ein KI Modell ist immer eine vereinfachte Darstellung der Realität. Im Kontext von Machine Learning…
KL-Divergenz
Mathematisches Maß dafür, wie stark sich zwei Wahrscheinlichkeitsverteilungen unterscheiden.…