Computer Use

Computer Use bezeichnet die Fähigkeit von KI-Modellen, eine grafische Benutzeroberfläche (GUI) wie ein menschlicher Nutzer zu bedienen. Das Modell sieht den Bildschirminhalt als Screenshot, erkennt Buttons, Textfelder, Menüs und andere Elemente und steuert Maus und Tastatur, um Aufgaben auszuführen.

Diese Technologie wurde 2024 von Anthropic mit Claude erstmals vorgestellt und 2025 von OpenAI mit Operator weiterentwickelt. Der KI-Agent kann damit beliebige Software nutzen, die für Menschen gemacht ist – ohne dass eine spezielle API oder Integration nötig wäre. Er navigiert Websites, füllt Formulare aus, bedient Desktop-Anwendungen und führt mehrstufige Workflows durch.

Computer Use ist ein Durchbruch für die Automatisierung: Viele Geschäftsprozesse nutzen Software ohne API-Schnittstellen – von Legacy-ERP-Systemen bis zu branchenspezifischen Webanwendungen. Computer Use ermöglicht es, auch diese Systeme zu automatisieren. Gleichzeitig birgt die Technologie Risiken: Ein KI-Agent mit Bildschirmzugriff kann potenziell auf alle sichtbaren Informationen zugreifen und unbeabsichtigte Aktionen ausführen. Sicherheitsmechanismen wie definierte Handlungsgrenzen und menschliche Freigabeschritte sind daher essenziell.