Inference

Inference, auf Deutsch oft mit "Schlussfolgerung" oder "Modellanwendung" uebersetzt, bezeichnet die Phase, in der ein bereits trainiertes KI-Modell auf neue Daten angewendet wird, um konkrete Ergebnisse zu liefern. Waehrend das Training einmalig oder in groesseren Abstaenden stattfindet und sehr rechenintensiv ist, geschieht Inference jedes Mal, wenn das Modell tatsaechlich genutzt wird — also bei jeder Frage an einen Chatbot, jeder automatischen Bilderkennung oder jeder Umsatzprognose.

Technisch laeuft Inference so ab, dass das Modell die eingelernten Muster und Gewichte nutzt, um aus einer Eingabe eine Ausgabe zu berechnen. Ein Sprachmodell erzeugt aus einer Frage eine Antwort, ein Bildmodell erkennt auf einem Foto Objekte, ein Prognosemodell schaetzt aus historischen Verkaufszahlen den kommenden Bedarf. Diese Berechnung kann auf einem Server in der Cloud, auf einem Firmenrechner oder direkt auf einem Geraet wie einem Smartphone oder einer Maschinensteuerung erfolgen. Geschwindigkeit und Kosten von Inference sind dabei entscheidende Faktoren: Je groesser das Modell, desto mehr Rechenleistung wird pro Anfrage benoetigt.

Fuer kleine und mittlere Unternehmen ist Inference die Phase, mit der man taeglich in Beruehrung kommt — meist ohne es zu merken. Wer ChatGPT, einen E-Mail-Assistenten, eine Spracherkennung oder einen Uebersetzungsdienst nutzt, bezahlt in der Regel pro Inference-Vorgang, etwa nach Anzahl der verarbeiteten Woerter oder Anfragen. Diese Kosten lassen sich planen und steuern, sind aber bei intensiver Nutzung ein relevanter Posten. Wer ueberlegt, eigene KI-Anwendungen einzufuehren, sollte daher pruefen, wie oft das Modell aufgerufen wird, wie schnell die Antwort vorliegen muss und ob die Daten dafuer das Unternehmen verlassen duerfen. Eine lokale Inference auf eigenen Rechnern kann bei sensiblen Daten sinnvoll sein, erfordert aber passende Hardware.

Wichtig ist die Unterscheidung zum Training: Bei Inference lernt das Modell nicht dazu, es wendet nur Gelerntes an. Wer ein Modell an die eigenen Beduerfnisse anpassen moechte, braucht zusaetzlich Verfahren wie Fine-Tuning oder eine angereicherte Eingabe ueber Retrieval-Augmented Generation.