Wenn ein Unternehmens-KI-System eine unzuverlässige Antwort liefert, macht die übliche Diagnose das Modell verantwortlich. Laut dem Quellenartikel liegt jedoch ein häufigeres und schwerer zu erkennendes Versagen woanders: Ein großes Sprachmodell (LLM) kann korrekt aus einem schlecht ausgewählten Kontext schlussfolgern.
- Ein Sprachmodell scheitert oft am falsch gewählten Kontext, nicht am Rechnen.
- Eine korrekte Berechnung kann trotzdem falsch sein, wenn Definition oder Befragtenbasis nicht stimmen.
- Das System sollte bei Mehrdeutigkeit nachfragen und den Kontext schrittweise aufbauen.
- Jedes Ergebnis muss bis zur Quelle, Gewichtung und Berechnung nachvollziehbar sein.
Die gängigsten Abhilfen sind ein leistungsstärkeres Modell, ein längerer Prompt, mehr abgerufene Dokumente oder ein größerer Kontextfenster, also die Menge an Informationen, die ein Modell gleichzeitig verarbeiten kann. Jedes kann helfen, aber keines löst das Problem direkt. In analytischen Systemen kann die Berechnung korrekt und die Erklärung schlüssig sein, und die Antwort dennoch falsch: Das System hat die falschen Beweise gewählt, einem falschen Link zwischen Tabellen gefolgt oder einem mehrdeutigen Fachbegriff eine Definition gegeben, die der Nutzer nicht im Sinn hatte. Der Fehler tritt vor jeder Berechnung auf.
Nehmen wir eine einfache Frage: Wie viele Stunden arbeitet Cam durchschnittlich pro Tag? Das Wort « Tag » ist nicht definiert. Es kann jeden Kalendertag des Zeitraums bedeuten, ein standardisiertes Arbeitsjahr, jeden Planungseintrag oder jedes Datum, an dem Cam tatsächlich gearbeitet hat. Die Gesamtstunden durch Kalendertage zu teilen ergibt einen niedrigeren Durchschnitt, als sie durch die tatsächlich gearbeiteten Tage zu teilen, sobald Cam freie Tage hat. Eine klassische Kontrolle, die prüft, ob die Summen übereinstimmen, erkennt diese falsche Wahl des Nenners nicht unbedingt.
Eine Geschäftsfrage, ein Analyseprogramm
Die Frage « Welche Marke hat das Vertrauen in diesem Quartal verbessert? » klingt wie eine einfache Suche. Sie zu beantworten erfordert jedoch, mehrere Punkte zu klären: Welche Frage im Fragebogen misst das Vertrauen, welche Erhebungswellen « dieses Quartal » bilden, welcher Umfang der Befragten gilt, ob die Ergebnisse gewichtet sind und was als Verbesserung zählt.
Der Artikel nimmt einen illustrativen Fall. Zwei Kreuztabellen scheinen der Anfrage zu entsprechen, mit einer Beschreibung, die sich nur um wenige Wörter unterscheidet. Die erste, gewichtet, bezieht sich auf alle Befragten und zeigt einen leichten Anstieg. Die zweite, ungewichtet, bezieht sich nur auf Befragte, die die Marke kennen, und zeigt einen leichten Rückgang. Ein auf Ähnlichkeit basierendes Suchtool würde sie fast gleich einstufen. Ein System, das das erste Ergebnis beibehält, liefert eine begründete und belegte Antwort, die falsch sein kann, ohne dass die getroffene Wahl im Endergebnis erscheint. Ein auf einem Pfad basierendes System hingegen erkennt den Unterschied in der Population und Gewichtung und fragt den Nutzer, welchen Umfang er verwenden möchte. Die Kosten dieser Klärungsfrage sind laut Autor weitaus geringer als die einer falschen Zahl, die der richtigen ähnelt.
Benchmarks, die Systeme messen
Die Forschungsarbeiten gehen in die gleiche Richtung. Spider 2.0, ein Unternehmens-Text-to-SQL-Benchmark aus 632 Problemen aus realen Arbeitsabläufen, wurde Ende 2024 veröffentlicht. Sein leistungsfähigstes System, ein auf o1-preview basierender Agent, löste etwa 17 % der Aufgaben, verglichen mit etwa 91 % für die besten Systeme auf dem ursprünglichen Spider-Benchmark. Das Ranking hat sich seitdem weiterentwickelt: Seine Snow-Spur zeigt eine Punktzahl von 96,7 %, eingereicht von einem Herausgeber, stammend von einem Agentensystem. Die Punktzahlen werden von den Teams selbst eingereicht, und der Artikel stellt fest, dass die besten Ergebnisse auf Systemen beruhen, die um das Modell herum entworfen wurden, und nicht auf Modellen allein.
Den Kontext zu verlängern reicht ebenfalls nicht aus. Eine Studie von Chroma mit dem Titel « Context Rot » stellt fest, dass Modelle mit zunehmender Eingabelänge unzuverlässiger werden, selbst bei einfachen Aufgaben, und dass ähnlich aussehende Ablenker das Problem verschlimmern.
Ein Pfad statt eines Haufens
Angesichts von Unsicherheit besteht der Reflex darin, dem Modell mehr Informationen zu liefern. Dies kann jedoch konkurrierende Interpretationen vervielfachen. Der beschriebene Ansatz besteht darin, den Kontext sequenziell zu organisieren: zuerst die Absicht der Studie, dann die Struktur des Fragebogens, die Fragen und ihre Definitionen, die Segmente, die Märkte, die Wellen und die Gewichtungsregeln, und schließlich die Kreuztabelle, die den Beweis enthält. Jede Schicht erbt die Einschränkungen der vorhergehenden.
Anthropic stellt Kontext-Engineering als die natürliche Fortsetzung von Prompt-Engineering dar und definiert es als die Verwaltung des gesamten Kontexts eines Agenten, betrachtet als eine endliche Ressource. Der Artikel hält diesen Rahmen für relevant, setzt ihn jedoch eine Stufe früher an: Es geht darum zu wissen, was die Frage bedeutet und welche Beweise sie beantworten können. Für den Fall des Markenvertrauens folgt der Ansatz fünf Schritten: Absicht klären, die Regeln der Studie anwenden, Quellen identifizieren, den Pfad validieren, dann mit einem autorisierten Tool berechnen und das Ergebnis mit seiner Definition, seiner Befragtenbasis, seiner Gewichtung und seiner Quelle präsentieren.
Der Autor betont schließlich die Rückverfolgbarkeit. Jedes Ergebnis muss zu seiner Quelltabelle, seiner Definition, seinen Filtern, seiner Gewichtung, seinem Zeitraum und der verwendeten Berechnung zurückverfolgbar sein.
