AI-agenten brengen problemen met zich mee die generatieve AI alleen niet veroorzaakt, en het volgen van hun werkzaamheden wordt daardoor zowel moeilijker als belangrijker. Onderzoekers uit de academische wereld, het maatschappelijk middenveld en de industrie hebben de signalen van de vier meest gebruikte agentenframeworks onderzocht en belangrijke tekortkomingen vastgesteld.
In tegenstelling tot een generatief AI-systeem, dat één antwoord produceert dat een mens vervolgens moet gebruiken, voert een agent langere takenreeksen uit: hij plant, kiest tools, creëert subagenten en voert acties uit. Een agent is bovendien gebaseerd op grote taalmodellen (LLM’s), waarvan hij de onvoorspelbaarheid overerft. Zijn verloop kan dus zeer uiteenlopende vormen aannemen, en geen enkele test die vooraf wordt uitgevoerd, kan de risico’s volledig anticiperen.
Volgens de auteurs maken deze frameworks het niet gemakkelijk om schendingen van regels, ongeautoriseerde acties of tekortkomingen in menselijk toezicht te identificeren. Verschillende essentiële elementen voor observatie ontbreken, zoals persistente agent-identificatoren of registraties die aangeven welke mensen welke taak hebben goedgekeurd. Onder deze omstandigheden wordt het moeilijk te weten welke agent wat heeft gedaan en te controleren of hij zonder toestemming heeft gehandeld.
Twee soorten sporen
De onderzoekers zijn van mening dat deze tekortkomingen kunnen worden opgevuld, op voorwaarde dat men begint met het vastleggen van twee soorten sporen. De eerste beschrijven wat er tijdens de uitvoering is gebeurd: ze identificeren de agent met behoud van privacy, leggen menselijke interventies vast en geven aan of de machtigingen van de agent of zijn ‘geheugen’ zijn veranderd. De tweede hebben betrekking op beslissingen: ze traceren het redeneren van de agent en zijn mate van vertrouwen in de acties die hij heeft ondernomen.
De auteurs nemen het voorbeeld van agenten die belast zijn met het behandelen van hypotheekaanvragen bij een bank. Het systeem onderzoekt een dossier en adviseert dit af te wijzen, waarna een menselijke adviseur de beslissing bekrachtigt. Tijdens een latere audit, of zelfs in realtime, moet de bank of een toezichthouder kunnen reconstrueren welke agent de beslissing heeft genomen, welke adviseur deze heeft goedgekeurd en hoeveel tijd dit heeft gekost. De bank moet ook analyseren hoe de agent tot zijn afwijzing is gekomen, om ervoor te zorgen dat hij geen verboden informatie heeft gebruikt, zoals gegevens over de woonwijk van de aanvrager.
Volgens het artikel vereist het vastleggen van ‘wat er is gebeurd’ en ‘hoe de agent heeft beslist’ verschillende benaderingen, maar beide zijn haalbaar. Het huidige gebrek aan sporen van het eerste type is vooral een kwestie van software-infrastructuur. Dit kan worden aangepakt met OpenTelemetry, een open standaard voor observabiliteit, onderhouden door ingenieurs uit de hele industrie en geleidelijk aan geadopteerd door agentenframeworks.
Een standaard die nog in ontwikkeling is
OpenTelemetry heeft een werkgroep opgericht die verantwoordelijk is voor het opstellen van gemeenschappelijke formaten voor het traceren van agenten, maar deze formaten zijn nog niet definitief. Volgens de auteurs moet deze groep dringend normen integreren voor het persistent maken van de identiteit van agenten, evenals voor het vastleggen van menselijke interventies en wijzigingen in machtigingen of geheugen. Dit werk moet worden voltooid voordat deze systemen op grote schaal worden ingezet. Het moet ook rekening houden met de implicaties voor de privacy van een agent-ID die is gekoppeld aan echte personen.
