Eerst het harnas corrigeren, dan pas de code

Eerst het harnas corrigeren, dan pas de code
3 min lezen

Wanneer een AI-agent een bug produceert, volstaat het niet meer om alleen de code te corrigeren, omdat het defect kan terugkeren. Teams die het snelst leveren met agents geven nu voorrang aan het harnas, dat wil zeggen de omgeving die het model kadert, voordat ze de code corrigeren.

Wat is een harnas?

Het harnas omvat alles wat het model omringt: hooks, skills, linters, tests en CI-regels (continuous integration, dat wil zeggen de automatische codecontroles). Dit zijn deterministische mechanismen die het werk van de agent testen en valideren voordat de code wordt vrijgegeven. Volgens de bron maakt niet het model het verschil: een goed harnas met een bescheiden model is beter dan een uitstekend model dat aan zichzelf wordt overgelaten.

De engineeringcontext bestaat eruit de juiste informatie op de juiste plaats en op het juiste moment te plaatsen. Het harnas is het onderdeel daarvan dat vertrouwen geeft in wat wordt geproduceerd.

De bug, slechts een symptoom

De code corrigeren zonder het harnas aan te raken, is als een lek repareren zonder naar de leiding te kijken. Als een agent een fout heeft laten passeren, ontbrak er een regel, bestond er geen hook of was de context verzadigd. Dezelfde bug zal terugkeren, in een andere vorm, tijdens de volgende sessie.

In staging, de testomgeving voorafgaand aan productie, bestaat de methode eruit uit te gaan van het harnas: waarom is dit mislukt, op welk punt, welke skill moet worden aangepast? Vaak ligt het antwoord in één zin: de context was te overladen, er ontbrak informatie. Als de bug triviaal is, kan deze handmatig worden gecorrigeerd, op voorwaarde dat dit wordt vastgelegd zodat het harnas ervan leert.

Elke fout traceren

Om deze aanpak vol te houden, moet bekend zijn waar elke fout vandaan komt: welk model, welke sessie, welke skill, welke agent heeft welke commit geproduceerd. Zonder deze traceerbaarheid corrigeert men blind. Met deze traceerbaarheid wordt het mogelijk dezelfde taak tien keer opnieuw uit te voeren en de configuraties te vergelijken, zowel in snelheid als in kosten.

In een klein team kunnen enkele ontwikkelaars en productprofielen in enkele maanden tijd enkele duizenden pull requests indienen. Een aanzienlijk deel van de tijd van een engineer, soms driekwart, gaat dan naar het harnas, dat evolueert met de applicatie, met nieuwe teamleden en met kosten- en veiligheidseisen.

Review en een nieuw vakgebied

Sommigen reviewen het grootste deel van de code die ze naar productie pushen niet meer. Dat is geen nalatigheid, stelt de bron, maar een verschuiving van het vertrouwen, dat niet langer op het menselijk oog rust maar op een opeenstapeling van vergrendelingen. Pragmatisme blijft geboden: betalingen worden nog steeds gereviewd, terwijl een mobiele app die dagen moet wachten op goedkeuring in een store meer voorzichtigheid vereist. Het niveau van het harnas wordt dus afgesteld op het risico.

Een bevroren harnas kan ook een rem worden. Vastgezet op een oude versie van een model, kan het een team wekenlang blokkeren dat niet begrijpt waarom collega’s tevreden zijn. Een rol zonder stabiele naam ontstaat, ergens tussen devex, staff engineer en de ‘metabuilder’. Seniors zullen daar het harnas vergrendelen in plaats van de code te reviewen, en product- of designprofielen zullen hieraan bijdragen.

Gisteren corrigeerde men wat de machine had geschreven. Morgen corrigeert men wat haar slecht liet schrijven. Rest één vraag: als de code niet meer wordt gereviewd, wie reviewt dan het harnas?

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x