Tree-of-Thought

Tree-of-Thought (ToT) ist eine Reasoning-Technik für Sprachmodelle, die das Konzept von Chain-of-Thought systematisch erweitert. Während Chain-of-Thought einen einzigen linearen Gedankengang formuliert, erkundet Tree-of-Thought aktiv mehrere alternative Lösungswege, bewertet sie und wählt den vielversprechendsten, ähnlich wie ein Mensch beim Lösen eines Rätsels verschiedene Ansätze durchspielt.

Das Verfahren funktioniert in mehreren Schritten: Das Modell generiert pro Stufe mehrere mögliche Folgegedanken, bewertet jeden auf Plausibilität, expandiert die vielversprechendsten weiter und verwirft schwache Zweige. So entsteht ein Suchbaum, der mit Strategien wie Breitensuche, Tiefensuche oder Monte-Carlo-Tree-Search durchforstet werden kann.

Tree-of-Thought zeigt besonders große Vorteile bei Aufgaben mit hoher Komplexität und mehreren Lösungsschritten, Mathematik, Spielen wie 24-Game, Planungsaufgaben, kreativem Schreiben. Der Preis ist deutlich höherer Token- und Compute-Verbrauch. In modernen Reasoning-Modellen wie OpenAI o-Serie oder Claude Extended Thinking sind ähnliche Suchprinzipien intern integriert.