Wie man KI-Agenten im Unternehmen bewertet

Wie man KI-Agenten im Unternehmen bewertet
3 Minuten Lesezeit

Ein KI-Agent, der in einer Demo beeindruckt, kann versagen, sobald er echten Nutzern und echten Daten gegenübersteht. In einem von Analytics Vidhya veröffentlichten Leitfaden wird die Bewertung dieser Systeme als ein fünfschichtiger Prozess dargestellt, der von der Überprüfung des Endergebnisses bis zur Überwachung im Produktivbetrieb reicht.

Laut dem Leitfaden kann ein Agent das falsche Werkzeug wählen, in einer fehlschlagenden Programmierschnittstelle (API) stecken bleiben, Daten preisgeben, die er nicht sehen sollte, oder eine Zahl in einem Bericht erfinden. Die Bewertung eines Agenten unterscheidet sich von der Bewertung eines Sprachmodells, da jeder Schritt zwischen Ziel und Ergebnis scheitern kann.

Definieren, was « Erfolg » bedeutet

Bevor auch nur ein Test geschrieben wird, empfiehlt der Leitfaden, den Erfolg zu definieren. Er schlägt vor, vier Fragen zu beantworten: Was ist die Aufgabe, was gilt als abgeschlossen, was darf niemals passieren und was kostet ein Fehler? Eine falsche Antwort in einem internen FAQ ist kostengünstig, während eine falsche Aktion in einem Zahlungsagenten es nicht ist.

Diese Kosten legen den Anspruch fest. Ein Agent mit geringem Risiko kann mit einer Erfolgsquote von 90 % der Aufgaben in Betrieb genommen werden, wobei die anderen Fälle von einem Menschen überprüft werden. Ein Hochrisiko-Agent erfordert möglicherweise 99 % und mehr auf kritischen Pfaden sowie eine strikte Blockierung bestimmter Aktionen, unabhängig vom Willen des Modells.

Fünf zu prüfende Schichten

Die erste Schicht betrifft das Ergebnis: Hat der Agent die Aufgabe erfüllt? Der Leitfaden rät, den tatsächlichen Status zu kontrollieren, z. B. den Kalender, anstatt die Aussage des Agenten. Die zweite betrifft die Trajektorie, also die Abfolge der Aktionen. Zwei Agenten können zur gleichen Antwort gelangen, einer in vier Schritten, der andere in 19, und die Anzahl der Schritte reicht nicht aus, um sie zu unterscheiden. Dann werden Schleifen, die Wahl der Werkzeuge, die Richtigkeit der Parameter und die Art und Weise, wie der Agent sich von einem Fehler erholt, untersucht.

Die dritte Schicht isoliert fehlerhafte Komponenten: Planer, Dokumentenabruf, Werkzeuge, Speicher und Antwortgenerierung. Für ein Retrieval-Augmented Generation (RAG)-System, das auf externe Dokumente zurückgreift, nennt der Leitfaden die Metriken Recall@k und Precision@k. Die vierte Schicht betrifft die Sicherheit: Einschleusen bösartiger Anweisungen in ein vom Agenten gelesenes Dokument, Datenlecks, Einhaltung von Zugriffsrechten und Unternehmensrichtlinien, Verarbeitung personenbezogener Daten. Der Leitfaden betont einen Punkt: Berechtigungen müssen im Code, außerhalb des Modells, durchgesetzt werden und niemals nur auf dem Prompt basieren. Die fünfte Schicht ist betrieblich: Latenz, Kosten pro Aufgabe, Zuverlässigkeit und Verhalten unter Last.

Richter, Menschen und Metriken

Um Ergebnisse zu bewerten, unterscheidet der Leitfaden drei Methoden: programmierte Kontrollen, « LLM-as-Judge », bei dem ein Sprachmodell eine Antwort anhand eines Rasters bewertet, und menschliche Nachprüfung. Automatische Richter weisen bekannte Verzerrungen auf, wie eine Präferenz für die erste Antwort in einem Vergleich oder für die längste Antwort.

Zuverlässigkeitsmetriken unterscheiden zwei Indikatoren. Pass@k ist die Wahrscheinlichkeit, dass mindestens einer von k Versuchen erfolgreich ist, während Pass^k die Wahrscheinlichkeit ist, dass alle erfolgreich sind. Im Beispiel des Leitfadens, mit einer Erfolgsrate von 80 % pro Versuch (angenommen unabhängig), beträgt die Wahrscheinlichkeit, dass mindestens einer von fünf Versuchen erfolgreich ist, etwa 99,97 %, gegenüber etwa 32,8 % für den Erfolg aller fünf Versuche. Der Leitfaden empfiehlt schließlich, Fehler wöchentlich zu überprüfen und jeden neuen Fall zum Testset hinzuzufügen.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x