Jede künstliche Intelligenz kann sich irren, und kein Vergleichstest wird sagen, welche sich bei der entscheidenden Antwort irren wird. Für Unternehmen stellt sich die Frage der Wahl einer KI daher Anwendungsfall für Anwendungsfall, je nachdem, was ein Fehler verpflichtend machen würde. Eine Methode, die auf einer Folgenabschätzung basiert, ermöglicht eine Entscheidung.
Nehmen wir einen Sicherheitsfragebogen, der von einem großen Kunden geschickt wird, mit einer langen Liste von Fragen und einer kurzen Frist. Ein Team füllt ihn mit Hilfe einer KI aus, überfliegt ihn schnell, und dann unterschreibt der Sicherheitsverantwortliche. Auf die Frage « Sind die Backups verschlüsselt? » antwortet die KI mit Ja, gestützt auf eine Richtlinie, die inzwischen geändert wurde. Niemand bemerkt es. Der Kunde wird es bei der ersten Prüfung sehen, und die Frage wird nicht mehr sein, ob sich die KI geirrt hat, sondern wer unterschrieben hat und worauf gestützt.
Ein KI-Fehler lässt sich korrigieren, solange er nur ein Entwurf bleibt. Er kostet, sobald eine Person ihn im Namen des Unternehmens verbindlich gemacht hat. Dieselbe KI mit derselben Fehlerrate kann in einer internen Notiz folgenlos und in einer an einen Kunden gerichteten Antwort gefährlich sein. Deshalb muss die Wahl des Werkzeugs für jeden Anwendungsfall getroffen werden.
Vier Stufen, eine einzige Frage
Die Methode besteht darin, sich für jeden Anwendungsfall zu fragen, was verbindlich wird, wenn die Antwort falsch ist und niemand es bemerkt. Vier Antworten sind möglich. Nichts, im Fall einer internen Notiz, einer Umformulierung oder eines ohnehin überprüften Entwurfs. Arbeit, wenn ein Dokument überarbeitet und Zeit verloren werden muss, ohne dass eine Verpflichtung eingegangen wurde. Eine Verpflichtung, mit einer vertraglichen Antwort, einer Erklärung gegenüber einem Kunden oder einem Angebot. Schließlich eine Haftung, mit einer regulatorischen Berichterstattung, einer Konformitätsbescheinigung oder einem Dokument, das unter der Kontrolle einer Behörde erstellt wurde.
Die Geschäftsleitung muss nicht die Kosten jedes Fehlers beziffern, denn keine Quelle gibt sie im Voraus an. Sie muss für jede Stufe entscheiden, was das Unternehmen akzeptiert: ohne Überprüfung unterschreiben, die Quelle sehen zu verlangen oder abzulehnen, dass eine Maschine den Inhalt erstellt. Es handelt sich um eine Entscheidung zur Risikotoleranz, die Anwendungsfall für Anwendungsfall getroffen wird und nicht einmalig für « die KI ».
Für jede Stufe das passende Werkzeug
Für die ersten beiden Stufen kann eine öffentlich zugängliche generative KI geeignet sein, innerhalb der Grenzen dessen, was man ihr risikolos anvertrauen kann. Für die beiden folgenden reicht Geschwindigkeit nicht mehr aus, und drei Anforderungen sind zwingend: dass jede Aussage das Dokument, die Seite und die Version zitiert, aus der sie stammt; dass das System angeben kann, wenn es nicht antworten kann, denn eine falsche Antwort wird vor einem Prüfer teuer; und dass eine benannte Person den Inhalt mit einer nachvollziehbaren Unterschrift freigibt.
Der Autor fügt eine vierte Anforderung hinzu: Die Überprüfung darf nicht dem Modell anvertraut werden, das den Text verfasst hat. Forscher haben dies auf der Konferenz ICLR 2024 gezeigt, und eine neuere Studie kommt zum gleichen Ergebnis: Die Überprüfung gewinnt an Effektivität, wenn der Prüfer dem, der geantwortet hat, weniger ähnelt. Die Kontrolle kann daher von einer anderen KI übernommen werden, die auf das Geschäftsfeld und die Dokumente des Unternehmens spezialisiert ist und jede Aussage gegen ihre Quelle prüft und meldet, was sie nicht belegen kann. Eine Abweichung zwischen den beiden KIs liefert nicht die richtige Antwort, zeigt aber die Stelle an, an der ein Mensch nachsehen muss. Diese Kontrolle erfolgt im geschützten Raum des Unternehmens und nicht bei einem Dritten.
Was die Geschäftsleitung entscheidet
Die Reihenfolge des Vorgehens ist wichtig. Zuerst müssen die Anwendungsfälle inventarisiert und für jeden bestimmt werden, was ein unentdeckter Fehler verbindlich machen würde. Dann kommt die Risikotoleranz, Stufe für Stufe. Das Werkzeug kommt erst zuletzt ins Spiel, dimensioniert nach dieser Toleranz und nicht nach der Vorführung des Anbieters.
Kehren wir zum Fragebogen zurück. Mit dieser Methode hätte die Antwort zu den Backups die Referenz der Richtlinie, ihre Version und ihr Datum genannt. Eine zweite KI oder der auf dieses Datum achtende Prüfer hätte festgestellt, dass die zitierte Version nicht mehr die aktuellste war, und der Sicherheitsverantwortliche hätte wissentlich unterschrieben. Die Maschine hätte sich immer noch geirrt, aber jemand hätte es vor dem Kunden gewusst.
