Vertrouwen in AI bouw je op door het te begrenzen, niet door het te voorspellen

Vertrouwen in AI bouw je op door het te begrenzen, niet door het te voorspellen
3 min lezen

In een tekst gepubliceerd door MIT Technology Review, stellen de auteurs dat vertrouwen in kunstmatige intelligentie niet kan steunen op het voorspellen van zijn gedrag. Volgens hen komt het eerder door strikte grenzen, toegepast buiten het bereik van het systeem. Een veiligheidsmaatregel die de AI zelf kan verplaatsen, is er geen.

De tekst neemt het voorbeeld van OpenAI: de veiligheidsmaatregelen bevonden zich binnen een systeem dat de agents zelf konden wijzigen. Traditionele software voert instructies uit die door mensen zijn geschreven. AI daarentegen oefent wat de auteurs een ‘synthetisch oordeel‘ noemen: het interpreteert situaties die niemand heeft geprogrammeerd en produceert antwoorden die niemand heeft voorgeschreven. Hoe meer vrijheid je het geeft, hoe moeilijker het wordt om de voorspelbaarheid te garanderen waarop vertrouwen historisch is gebouwd.

De grenzen van de klassieke definities van vertrouwen

De tekst herinnert aan twee recente benaderingen die door het medium zijn behandeld. De eerste vindt het onvoldoende om een mens in de lus te plaatsen, omdat mensen fundamenteel niet in staat zijn de intenties van AI-systemen te begrijpen, en pleit voor interdisciplinair onderzoek waarbij universiteit, overheid en technologie-industrie samenwerken. De tweede beschrijft het gebruik van prikkels om te voorkomen dat modellen van de regels afwijken, zelfs wanneer niemand weet hoe ze van binnen werken. Beide erkennen dat het onmogelijk is om elke beslissing van de AI te begrijpen of te monitoren.

Maar onze vertrouwensinstrumenten, of het nu gaat om vereisten, tests, certificering, veiligheidsmarges, vergrendelingen of criteria voor succes en falen, zijn allemaal gebaseerd op het vermogen om het gedrag van een systeem te begrenzen. De auteurs spreken hier van een ‘paradox van het determinisme’. Met generatieve AI en agents hangt dit gedrag af van de trainingsdata, de architectuur, de instructies, de context, de geraadpleegde bronnen en de omgeving. De invoer verandert, modellen worden bijgewerkt, tools evolueren en agents interageren met elkaar. Kleine variaties verspreiden zich tot resultaten die niemand heeft bedacht.

Het probleem is niet het toeval, stelt de tekst, maar de ruimte van mogelijk gedrag, die te groot is om van tevoren op te sommen. Vertrouwen moet daarom worden opgebouwd rond grenzen in plaats van voorspelde uitkomsten. Het doel is niet een deterministische AI, maar een ‘begrensde, observeerbare en controleerbare’ AI. Het kan ook geen eenmalige test zijn: AI blijft evolueren na zijn implementatie, en een systeem dat alle tests heeft doorstaan, kan buiten de voorwaarden treden die deze tests zin gaven. Volgens de tekst moet vertrouwen ‘voortdurend worden verdiend’.

Veiligheidsengineering houdt al decennia rekening met een deel van deze variabiliteit. De Nuclear Regulatory Commission baseert zich op probabilistische risicobeoordeling om de kans op falen in complexe systemen in te schatten. Het STAMP-model heeft aangetoond dat ongevallen kunnen ontstaan uit interacties tussen componenten, mensen en organisaties die toch correct functioneren. AI verandert het spel, omdat één enkel component nu kan interpreteren, afleiden en handelen. De inzet wordt groter naarmate AI overgaat van browsers naar voertuigen, robots, medische systemen, industriële controles en datacenters, waar een verkeerd antwoord een levensbedreigende gebeurtenis kan worden.

Vertrouwen opbouwen dat schaalbaar is

Een persoon die duizenden AI-acties per uur valideert, vormt volgens de tekst geen acceptabele noch schaalbare veiligheidsmaatregel. De oplossing is echter niet om de mens uit de lus te halen, maar om zijn oordeel daar te plaatsen waar het ertoe doet: grenzen van tevoren vaststellen en vervolgens de zeldzame acties met ernstige gevolgen goedkeuren, terwijl strikte beperkingen de rest beheren.

Vertrouwen moet daarom teruggaan tot de architectuur van het systeem. De auteurs stellen drie vragen: welke autoriteit verlenen aan de AI, onder welke voorwaarden, en gesteund op welke bewijzen? Ze voegen een vierde vraag toe, namelijk wat er gebeurt buiten deze voorwaarden. Deze benadering, concluderen ze in essentie, verschilt sterk van de vraag of een model 94% heeft gehaald op een benchmark, dat wil zeggen een referentietest.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x