Een AI-agent die indruk maakt in een demo, kan falen zodra hij wordt geconfronteerd met echte gebruikers en echte gegevens. In een gids gepubliceerd door Analytics Vidhya wordt de evaluatie van deze systemen gepresenteerd als een vijf-lagen benadering, die gaat van het controleren van het eindresultaat tot monitoring in productie.
Volgens de gids kan een agent het verkeerde hulpmiddel kiezen, blijven hangen in een falende programmeerinterface (API), gegevens blootleggen die hij niet zou mogen zien of een cijfer in een rapport verzinnen. Een agent evalueren is een andere oefening dan een taalmodel evalueren, omdat elke stap tussen doel en resultaat kan falen.
Definieer wat ‘slagen’ betekent
Voordat men ook maar één test schrijft, raadt de gids aan succes te definiëren. Hij stelt voor vier vragen te beantwoorden: wat is de taak, wat telt als voltooid, wat mag nooit gebeuren en wat zijn de kosten van een fout. Een verkeerd antwoord in een interne FAQ is weinig kostbaar, terwijl een verkeerde actie in een betaalagent dat niet is.
Deze kosten bepalen het vereiste niveau. Een laag-risico agent kan in gebruik worden genomen met 90% taak-succes, waarbij de andere gevallen door een mens worden gecontroleerd. Een hoog-risico agent kan 99% en meer vereisen op kritieke paden, evenals een harde blokkering van bepaalde acties, ongeacht de wil van het model.
Vijf lagen om te controleren
De eerste laag gaat over het resultaat: heeft de agent de taak volbracht? De gids adviseert de werkelijke status te controleren, bijvoorbeeld de agenda, in plaats van de verklaring van de agent. De tweede betreft de traject, dat wil zeggen de reeks acties. Twee agents kunnen tot hetzelfde antwoord komen, de een in vier stappen, de ander in 19, en het aantal stappen is niet genoeg om ze te onderscheiden. Men onderzoekt dan de loops, de keuze van hulpmiddelen, de juistheid van parameters en hoe de agent herstelt van een fout.
De derde laag isoleert falende componenten: planner, document retrieval, hulpmiddelen, geheugen en antwoordgeneratie. Voor een Retrieval-Augmented Generation (RAG) systeem, dat leunt op externe documenten, noemt de gids de recall@k en precision@k metingen. De vierde laag gaat over veiligheid: injectie van kwaadaardige instructies in een door de agent gelezen document, datalekken, naleving van toegangsrechten en bedrijfsregels, verwerking van persoonlijke gegevens. De gids benadrukt één punt: permissies moeten worden toegepast in de code, buiten het model, en nooit alleen op de prompt vertrouwen. De vijfde laag is operationeel: latentie, kosten per taak, betrouwbaarheid en prestaties onder belasting.
Rechters, mensen en metrieken
Om resultaten te beoordelen, onderscheidt de gids drie methoden: geprogrammeerde controles, ‘LLM-as-judge’, waarbij een taalmodel een antwoord beoordeelt volgens een rooster, en menselijke controle. Automatische rechters vertonen bekende vooroordelen, zoals voorkeur voor het eerste antwoord in een vergelijking of voor het langste antwoord.
Betrouwbaarheidsmetingen onderscheiden twee indicatoren. De pass@k is de kans dat minstens één van de k pogingen slaagt, terwijl pass^k de kans is dat alle slagen. In het voorbeeld van de gids, met een slagingskans van 80% per poging, verondersteld onafhankelijk, is de kans dat minstens één van de vijf pogingen slaagt ongeveer 99,97%, tegen ongeveer 32,8% voor het slagen van alle vijf pogingen. De gids raadt ten slotte aan om elke week de mislukkingen te bekijken en elk nieuw geval toe te voegen aan de testset.
