Elke kunstmatige intelligentie kan zich vergissen, en geen enkele vergelijking zal zeggen welke zich zal vergissen op het antwoord dat telt. Voor bedrijven stelt de keuze voor een AI zich dus gebruik per gebruik, afhankelijk van wat een fout zou inhouden. Een methode gebaseerd op een impactanalyse maakt het mogelijk een keuze te maken.
Neem een veiligheidsvragenlijst verzonden door een grote klant, met een lange lijst vragen en een korte deadline. Een team vult hem in met behulp van een AI, leest snel na, waarna de verantwoordelijke voor veiligheid ondertekent. Op de vraag ‘zijn de back-ups versleuteld?’ antwoordt de AI ja, steunend op een beleid dat intussen is gewijzigd. Niemand merkt het op. De klant zal het wel zien tijdens de eerste audit, en de vraag zal niet meer zijn of de AI zich vergist heeft, maar wie heeft ondertekend, en op grond waarvan.
Een fout van een AI is te herstellen zolang het een klad blijft. Hij kost vanaf het moment dat een persoon hem heeft vastgelegd onder de briefhoofd van het bedrijf. Dezelfde AI, met hetzelfde foutenpercentage, kan zonder gevolgen zijn in een interne notitie en gevaarlijk in een antwoord gericht aan een klant. Daarom moet de keuze van het instrument voor elk gebruik gemaakt worden.
Vier niveaus, één enkele vraag
De methode bestaat erin zich voor elk gebruik af te vragen wat er op het spel staat als het antwoord fout is en niemand het opmerkt. Vier antwoorden zijn mogelijk. Niets, in het geval van een interne notitie, een herformulering of een klad dat toch wordt nagelezen. Werk, wanneer een document moet worden hernomen en tijd verloren gaat, zonder een engagement aangegaan. Een engagement, met een contractueel antwoord, een verklaring aan een klant of een offerte. Ten slotte een blootstelling, met een regelgevende rapportage, een conformiteitsverklaring of een document opgesteld onder toezicht van een autoriteit.
Het directiecomité hoeft de kost van elke fout niet te kwantificeren, want geen enkele bron geeft die op voorhand. Het moet voor elk niveau beslissen wat het bedrijf accepteert: ondertekenen zonder verificatie, eisen de bron te zien, of weigeren dat een machine de inhoud produceert. Het gaat om een beslissing over risicotolerantie, genomen gebruik per gebruik en niet eenmalig voor ‘de AI’.
Voor elk niveau, zijn instrument
Voor de eerste twee niveaus kan een generatieve AI voor het grote publiek volstaan, binnen de grenzen van wat men haar zonder risico kan toevertrouwen. Voor de twee volgende volstaat snelheid niet meer en gelden drie vereisten: dat elke bewering het document, de pagina en de versie vermeldt waaruit ze is gehaald; dat het systeem kan aangeven dat het niet kan antwoorden, want een fout antwoord wordt afgerekend bij een auditor; en dat een aangewezen persoon de inhoud valideert, met een getraceerde handtekening.
De auteur voegt een vierde vereiste toe: de verificatie mag niet worden toevertrouwd aan het model dat heeft opgesteld. Onderzoekers hebben dit aangetoond tijdens de ICLR 2024-conferentie, en een recentere studie gaat in dezelfde richting: de verificatie wint aan efficiëntie wanneer degene die controleert minder lijkt op degene die heeft geantwoord. De controle kan dus worden uitgevoerd door een andere AI, gespecialiseerd in het vakgebied en de documenten van het bedrijf, die elke bewering verifieert tegen haar bron en aangeeft wat ze niet kan vaststellen. Een meningsverschil tussen de twee AI’s levert niet het juiste antwoord op, maar wijst de plaats aan waar een mens moet kijken. Deze controle wordt uitgevoerd in de beschermde ruimte van het bedrijf, en niet bij een derde.
Wat het comité beslist
De volgorde van de aanpak is belangrijk. Eerst moet een inventaris van de gebruikstoepassingen worden gemaakt en voor elk worden bepaald wat een stille fout zou inhouden. Vervolgens komt de risicotolerantie, niveau per niveau. Het instrument komt pas op het einde, afgestemd op deze tolerantie en niet op de demonstratie van de leverancier.
Laten we terugkeren naar de vragenlijst. Met deze methode zou het antwoord over de back-ups de referentie van het beleid, de versie en de datum hebben vermeld. Een tweede AI, of de nalezer die op deze datum lette, zou hebben vastgesteld dat de geciteerde versie niet meer de laatste was, en de verantwoordelijke voor veiligheid zou met kennis van zaken hebben ondertekend. De machine zou zich nog steeds hebben vergist, maar iemand zou het geweten hebben vóór de klant.
