Een kunstmatig intelligentie-agent kan een overtuigend antwoord produceren en een actie ondernemen die niemand hem werkelijk had toevertrouwd. Volgens de hier gepubliceerde analyse is het de grens tussen technische capaciteit en gedelegeerde autoriteit die een centraal onderwerp moet worden van AI-governance.
- Toegang tot een tool betekent niet dat een agent mag beslissen over de actie die die tool uitvoert.
- Een goedkeuringsknop volstaat niet, want de toezichthouder heeft begrijpelijke informatie, voldoende tijd en gepaste interventiemiddelen nodig.
- Het mandaat moet doel, perimeter, duur en uitgesloten handelingen bepalen, en controles moeten vóór onomkeerbare gevolgen staan.
- De herstelmogelijkheid moet vóór de implementatie worden getest, omdat sommige gevolgen niet ongedaan kunnen worden gemaakt.
De auteur neemt het fictieve voorbeeld van een bedrijf dat een agent toevertrouwt met de analyse van klachten. Om de verwerking te versnellen, geeft het hem toegang tot zijn CRM, dat wil zeggen zijn tool voor klantrelatiebeheer, en vervolgens tot een terugbetalingsinstrument. De agent beveelt eerst commerciële handelingen aan, voordat hij ze uitvoert binnen de technische grenzen van zijn toegang. Echter, de mogelijkheid hebben om een betaling te triggeren betekent niet het mandaat te hebben gekregen om over die betaling te beslissen.
De kwaliteit van antwoorden volstaat niet om de actie te besturen
De evaluatie van een model en die van zijn autoriteit beantwoorden twee verschillende vragen. De eerste gaat over de relevantie of nauwkeurigheid van een resultaat, de tweede over de legitimiteit van een actie in een gegeven situatie. Een nauwkeurige aanbeveling kan het mandaat van een agent overschrijden, terwijl een onzekere aanbeveling zonder gevolgen kan blijven als de uitvoering ervan correct wordt gekaderd.
Voor een algemene directie of een IT-afdeling wordt de vraag concreet: welke beslissingen kan het systeem nemen, met welke middelen, namens wie en tot hoever? Een lijst van toegestane tools vormt een begin, maar specificeert niet de aanvaardbare gebruiksvoorwaarden. Toegang tot een CRM kan dienen om een dossier te raadplegen, een gegeven te wijzigen of contacten te exporteren. Deze operaties hebben noch hetzelfde doel noch dezelfde gevolgen, en de governance moet ze koppelen aan een expliciet mandaat.
De erosie van controle wordt opgebouwd in de opeenvolgingen
De auteur spreekt van erosie van controle wanneer het werkelijke vermogen van verantwoordelijken om acties te begrijpen, beperken en corrigeren afneemt tijdens het functioneren van het systeem. Een agent verzamelt informatie, een tweede synthetiseert ze, een derde bereidt een beslissing voor en een vierde voert ze uit. Elk kan zijn onmiddellijke rol respecteren, terwijl het geheel een gevolg kan produceren dat de initiële verantwoordelijke niet had voorzien. Een hypothese wordt een werkgegeven, dit gegeven wordt een rechtvaardiging, en vervolgens triggert de rechtvaardiging een actie.
De autoriteitsafwijking kan discreet blijven. Ze verschijnt wanneer een systeem de facto zijn perimeter verbreedt, bijvoorbeeld door een analyse-instructie om te zetten in een uitvoeringstoestemming. Het juiste observatieniveau is daarom de keten die het menselijke mandaat verbindt met het eindresultaat. De aanwezigheid van een goedkeuringsknop volstaat niet om een effectieve controle te vestigen: de supervisor moet beschikken over begrijpelijke informatie, voldoende tijd en aangepaste interventiemiddelen. In het voorbeeld van de terugbetaling zou de validatie moeten plaatsvinden vóór de operatie en het bedrag, het motief, de onzekerheden en de toepasselijke regel moeten voorleggen.
Een verifieerbare controle organiseren
De auteur stelt vijf eisen voor. Ten eerste, het mandaat formuleren: doel, perimeter, duur en uitgesloten handelingen, want ‘klachten behandelen’ is te breed als de toegestane beslissingen niet worden gespecificeerd. Vervolgens de permissies laten overeenkomen met het mandaat, door de toegang te beperken tot de noodzakelijke operaties en deze aan het einde van de missie te kunnen intrekken. Ook moeten controles worden geplaatst vóór de gevolgen die moeilijk te corrigeren zijn, bijvoorbeeld door middel van een bedragdrempel of een wijziging van de geadresseerde. Daarna komt het bijhouden van een bruikbaar spoor, proportioneel en beschermend voor de gegevens. Ten slotte moet de herstelmogelijkheid worden getest, want aangezien sommige gevolgen onomkeerbaar zijn, moet de mogelijkheid om het systeem te stoppen worden geëvalueerd vóór de implementatie.
De regels voor toezicht kunnen zelf ongeschikt worden wanneer het volume, de tools of de verantwoordelijkheden veranderen. Een deterministische regelengine kan bepaalde controles reproduceerbaar maken, zonder de kwaliteit van de ontvangen feiten noch de relevantie van de regels te garanderen. Voordat de autonomie van een agent wordt uitgebreid, moeten beslissers kunnen aantonen wie hem het recht heeft gegeven om te handelen, binnen welke grenzen en hoe de controle kan worden overgenomen.
