Met AI-agenten verandert de aard van het risico. Een fout beperkt zich niet langer tot een onjuist of onnauwkeurig antwoord: het kan een beslissing worden, en vervolgens een actie in het informatiesysteem. Volgens het Capgemini Research Institute kunnen deze agenten tegen 2028 tot 450 miljard dollar aan waarde genereren, terwijl 15% van de bedrijfsprocessen in de komende twaalf maanden een gedeeltelijk of volledig autonoom niveau zou kunnen bereiken.
Hoe meer agenten deel gaan uitmaken van de waardeketen, hoe meer de beheersing van hun handelingsvermogen een kwestie van governance wordt, net zo goed als van cybersecurity. De tekst benadrukt daarom dat het debat, lang gericht op modellen, hun data, hun vooroordelen of hun hallucinaties, nu moet gaan over de architectuur van de macht in het informatiesysteem.
Delegatie niet verwarren met overdracht van privileges
De reflex is vaak om de agent toe te staan te handelen « namens » zijn gebruiker en hem zijn rechten over te dragen. Deze werkwijze, die al is waargenomen, wordt hier als onjuist beoordeeld. Een financieel directeur heeft legitiem toegang tot de kas, salarissen, rapportages of bepaalde strategische operaties, terwijl een agent die is belast met het afstemmen van facturen slechts een fractie van deze privileges nodig heeft. Hem de identiteit van de CFO overdragen komt neer op het verwarren van de macht van degene die de opdracht geeft met die van degene die deze uitvoert.
Software beschikt over rechten, terwijl een agent een mandaat moet krijgen. Volgens de tekst moet dit mandaat berusten op een eigen identiteit, een bepaalde missie, toegankelijke middelen, een duur, toegestane acties en een intrekkingsmogelijkheid. De feitelijke macht van de agent moet beperkt blijven tot het snijvlak tussen zijn eigen rechten, die van de gebruiker en wat de missie vereist, « nooit tot hun optelsom ». De regel wordt doorslaggevend wanneer meerdere agenten samenwerken: het delegeren van een taak mag nooit leiden tot het delegeren van meer macht.
Het onderwerp is al concreet in bepaalde bedrijven, met name in de banksector, waar beveiligde en bestuurde generatieve AI-omgevingen worden uitgerold bij medewerkers. Wanneer deze omgevingen evolueren naar agenten die kunnen ingrijpen in bedrijfsprocessen, is het beschermen van data niet langer voldoende: ook het gezag dat aan de machine wordt toevertrouwd, moet worden bestuurd.
Agenten een identiteit geven om hen autonomie te verlenen
De Cloud Security Alliance schat dat niet-menselijke identiteiten, service-accounts, API-sleutels, certificaten, tokens of inloggegevens die door agenten worden gebruikt, gemiddeld 45 keer talrijker zijn dan menselijke identiteiten in bedrijven. Het is dus essentieel om precies te weten wie handelt. De tekst onderscheidt in dit verband de Agent Owner, verantwoordelijk voor de agent in productie en zijn levenscyclus, de agent zelf, voorzien van eigen rechten, en de gebruiker voor wie hij optreedt.
Deze governance vereist een end-to-end traceerbaarheid. Het bedrijf moet de acties van de agent, zijn interacties met het informatiesysteem en de databronnen die hij gebruikt, kunnen reconstrueren. Deze zichtbaarheid moet het mogelijk maken om niet-conform gedrag te detecteren, waarschuwingen of veiligheidsmaatregelen te activeren en, voor kritieke of gevoelige functies, menselijke goedkeuring te behouden zolang het functioneren van de agent niet voldoende is bewezen.
Volgens deze analyse is het doel niet om de autonomie van agenten te beperken, maar om de voorwaarden voor vertrouwen te scheppen. Hoe beter een bedrijf zijn agenten kan identificeren, hun mandaat kan begrenzen, hun acties kan volgen en een menselijke interventiemogelijkheid kan behouden, hoe meer verantwoordelijkheid het hen kan toevertrouwen. De vraag, concludeert de tekst, zal niet langer alleen zijn welke AI het bedrijf gebruikt, maar aan wie het de sleutels van zijn informatiesysteem heeft gegeven, onder welke identiteit en onder welke controle.
