Multimodalität

Multimodalität beschreibt die Faehigkeit eines KI-Systems, mehrere Arten von Daten gleichzeitig zu verarbeiten und miteinander zu verknuepfen. Damit sind unterschiedliche Eingabe- und Ausgabeformen gemeint, etwa Text, Bilder, gesprochene Sprache, Audio, Video oder auch Tabellen und Sensordaten. Ein multimodales System kann zum Beispiel ein Foto betrachten und dazu eine schriftliche Frage beantworten oder aus einer Sprachaufnahme einen formatierten Textbericht erstellen.

Technisch werden die verschiedenen Datentypen in eine gemeinsame Repraesentation uebersetzt, sodass das Modell Zusammenhaenge zwischen ihnen erkennen kann. Ein Bild wird also nicht nur als Pixelmenge gesehen, sondern in einen Bedeutungsraum eingeordnet, den das Modell auch fuer Texte oder Toene nutzt. Auf diese Weise lassen sich Aufgaben loesen, die frueher mehrere spezialisierte Systeme erforderten: Bildbeschreibung, automatische Untertitelung, Auswertung gescannter Dokumente, Erkennung von Objekten in Kombination mit Textanweisungen oder die Erstellung von Bildern aus Textbeschreibungen. Bekannte Beispiele sind moderne Sprachmodelle wie GPT-4o, Gemini oder Claude, die Texte, Bilder und teils auch Audio in einem Vorgang verarbeiten.

Fuer kleine und mittlere Unternehmen ist Multimodalitaet vor allem deshalb interessant, weil viele Arbeitsablaeufe ohnehin aus gemischten Informationen bestehen. Eine Handwerksfirma kann Fotos einer Baustelle hochladen und automatisch eine Materialliste oder einen Angebotsentwurf erstellen lassen. Ein Steuerbuero kann eingescannte Belege auslesen und direkt in die Buchhaltung uebernehmen. Im Kundenservice lassen sich Sprachnachrichten transkribieren, Stimmungen einordnen und passende Antwortvorschlaege generieren. Auch im Marketing entstehen Vorteile, wenn aus einem kurzen Briefing-Text Bildmotive, Produktbeschreibungen und Social-Media-Posts in einem Durchgang entstehen.

Die Chance liegt darin, Medienbrueche zu reduzieren und mit einem einzigen Werkzeug viele kleine Aufgaben abzudecken. Grenzen bestehen weiterhin bei der Genauigkeit, beim Datenschutz sensibler Inhalte und bei den Kosten leistungsfaehiger Modelle. Verwandte Begriffe sind Vision-Language-Modelle, Foundation Models und Cross-Modal Retrieval.