De prestatie van een AI-project in een bedrijf wordt niet gemeten aan de geleverde resultaten, maar aan de bedrijfsresultaten: doorlooptijden, kwaliteit, herwerkingen, kosten en herbesteedde tijd. Dat is de stelling van Alexandre Ruiz, architect van bedrijfssystemen en auteur van La Couche IA, een essay gewijd aan kunstmatige intelligentie en de transformatie van organisaties. Volgens hem is het soms beter om een proces te schrappen dan het te automatiseren.
AI-demonstraties hebben een gemeenschappelijke zwakte: ze stoppen vaak op het moment dat het document wordt gegenereerd. Een samenvatting verschijnt in enkele seconden, een tabel vult zich automatisch, een e-mail schrijft zich bijna vanzelf. Voor de auteur is de creatie van het resultaat echter niet het bedrijfsresultaat. Om een transformatie te meten, moet je observeren wat er daarna gebeurt: validatie, fout, herwerking, beslissing, tevredenheid en kosten.
Vijf indicatoren voorbij het geleverde resultaat
De eerste indicator is de volledige doorlooptijd tussen een aanvraag en de afhandeling ervan. Twintig minuten winnen op het schrijven van een notitie verandert niets aan een dossier dat drie dagen wacht. De tweede is het herwerkingspercentage: een snel geproduceerd antwoord dat twee keer wordt gecorrigeerd, kan meer kosten dan een traag maar betrouwbaar antwoord.
De derde indicator gaat over de kwaliteit van de beslissing. Het produceren van honderd aanbevelingen is niets waard als ze geen enkel besluit verhelderen. De vierde betreft de herbesteedde tijd: konden de teams zich daadwerkelijk toeleggen op klantrelaties, opleiding of complexere dossiers? De vijfde zijn de volledige kosten, die licenties, integratie, toezicht, risico’s, updates en onderhoud moeten omvatten.
Een individuele winst opgeslokt door het collectief
Een gerandomiseerde studie van Microsoft Research onder 6.000 werknemers zag een daling van de tijd besteed aan e-mails, maar geen significante verandering in de vergadertijd. De les, volgens de auteur, is niet dat AI niet werkt: een individuele winst kan worden opgeslokt door ongewijzigde collectieve praktijken. Het onderzoek van het NBER naar ondersteuning van klantenservice toont ook aan dat de voordelen variëren per profiel en taak.
Schrappen in plaats van automatiseren
Deze indicatoren kunnen leiden tot een soms contra-intuïtieve beslissing: een stap niet automatiseren die eenvoudiger geschrapt kan worden. Voordat je een agent bouwt, dat wil zeggen een AI-programma dat zelfstandig meerdere acties kan uitvoeren, die een dossier tussen drie teams doorgeeft, waarom niet eerst de verantwoordelijkheid voor de beslissing verduidelijken? Een AI-strategie wordt niet beoordeeld op het aantal automatiseringen in productie, maar op de kosten en kwaliteit van een duurzaam bedrijfsresultaat.
