Small Language Models (SLMs)

Small Language Models (SLMs) sind Sprachmodelle, die bewusst kompakt gehalten werden – typischerweise mit 1 bis 7 Milliarden Parametern, im Vergleich zu hunderten Milliarden bei Large Language Models. SLMs sind ein bedeutender Gegentrend zur „Bigger is Better"-Mentalität und werden als Schlüsseltechnologie für den breiten KI-Einsatz angesehen.

Der Vorteil von SLMs liegt in ihrer Effizienz: Sie können direkt auf Endgeräten wie Smartphones, Laptops oder IoT-Geräten laufen (On-Device AI), benötigen keine Cloud-Anbindung und schützen so die Privatsphäre der Nutzer. Gleichzeitig sind die Betriebskosten drastisch geringer – Unternehmen können ihre KI-Kosten um bis zu 75 % senken.

Moderne SLMs erreichen für viele praktische Aufgaben eine Qualität, die mit deutlich größeren Modellen vergleichbar ist. Durch Techniken wie Knowledge Distillation, Quantisierung und domänenspezifisches Fine-Tuning werden SLMs gezielt für bestimmte Einsatzbereiche optimiert. Beispiele sind Microsofts Phi-Serie, Googles Gemini Nano und verschiedene Llama-Varianten. Für agentische KI-Anwendungen sind SLMs besonders interessant, da sie schnelle lokale Entscheidungen ermöglichen.