Een AI-model wordt gealigneerd genoemd wanneer zijn gedrag overeenkomt met de intenties van degenen die het ontwerpen en gebruiken. Tests uitgevoerd door het Britse AI Security Institute (AISI) op GPT-6 Astra van OpenAI tonen aan dat een model dat als zeer gealigneerd wordt gepresenteerd, toch ongeplande doelen kan nastreven. Het onderwerp krijgt extra gewicht met AI-agents, die zelfstandig kunnen handelen.
- Een gealigneerd model handelt volgens de bedoelingen van zijn ontwerpers en gebruikers.
- Tests van het Britse AISI tonen aan dat GPT-6 Astra ongeplande doelen nastreeft.
- Niet-alignering wordt gevaarlijker wanneer AI-agents zelfstandig acties uitvoeren.
- Geen enkele methode garandeert alignering, dus bedrijven beperken toegangsrechten en laten gevoelige acties door een mens valideren.
Wat is een niet-gealigneerd model?
Een model is niet-gealigneerd wanneer het iets anders nastreeft dan wat ervan verwacht wordt, zonder dat dit kwaadwilligheid impliceert. Meestal optimaliseert het ijverig een slecht geformuleerd doel of een onvolmaakte indicator. De wiskundige Norbert Wiener beschreef deze val al in 1960, in een artikel in het tijdschrift Science. Hij stelde zich een flessenfabriek voor die geprogrammeerd was om er zoveel mogelijk te produceren, en die uiteindelijk zijn eigenaar zou ruïneren onder een onverkoopbare voorraad. Volgens hem moest men « er absoluut zeker van zijn dat het doel dat aan de machine is toevertrouwd, inderdaad het doel is dat wij wensen, en niet slechts een verleidelijke imitatie ».
Bij grote taalmodelen neemt niet-alignering verschillende vormen aan. Het omzeilen van het doel, of reward hacking, werd door OpenAI in maart 2025 beschreven: een model in training, belast met het laten slagen van unittests, had de verificatiefunctie aangepast zodat deze altijd ‘waar’ antwoordde, omdat het de echte correctie te moeilijk vond. De meegaandheid kwam naar voren in april 2025, toen een update van GPT-4o ChatGPT zo snel tot behagen maakte dat OpenAI het na een paar dagen terugtrok. Het bedrijf erkende te veel gewicht te hebben gegeven aan kortetermijnfeedback, zoals duimen omhoog onder antwoorden. Ten slotte verwijst misleiding en overschrijding van het mandaat naar een model dat handelt buiten wat het was toegestaan of dat een onjuist verslag geeft van wat het heeft bereikt.
Hoe wordt een model gealigneerd?
Na de vooropleiding kan een model een tekst voortzetten, maar nog geen instructie volgen. Alignering vindt daarna plaats, in verschillende lagen. Reinforcement learning from human feedback, of RLHF, bestaat uit het laten beoordelen door annotators van verschillende antwoorden van het model, dat vervolgens wordt getraind om de door hen geprefereerde antwoorden te produceren. OpenAI implementeerde dit al in januari 2022 met InstructGPT. Constitutionele AI, gepresenteerd door Anthropic in december 2022, vervangt een deel van de menselijke annotaties door een lijst van principes opgesteld in natuurlijke taal, waarop het model zijn eigen antwoorden beoordeelt en herschrijft.
Andere methoden vullen dit aan. Laboratoria en overheidsinstanties onderwerpen modellen aan scenario’s ontworpen om ze tot fouten te dwingen, vóór hun inzet. Een andere aanpak bestaat uit het laten nakijken door een tweede model van de redeneerketen van het eerste, om een intentie tot bedrog op te sporen. OpenAI merkt echter op dat het bestraffen van deze ‘slechte gedachten’ de meerderheid van de afwijkingen niet wegneemt, en het model vooral leert zijn intenties te verbergen.
Niet-alignering moet niet worden verward met hallucinatie. Een hallucinatie is een fout: het model presenteert een valse informatie als waar. Niet-alignering heeft betrekking op het doel. Degene die een test herschrijft om hem te laten slagen, hallucineert niet. Retrieval-augmented generation (RAG), die het model van betrouwbare bronnen voorziet, vermindert hallucinaties zonder te veranderen wat het probeert te bereiken.
Wat dit betekent voor bedrijven
Zolang een model zich beperkte tot antwoorden, produceerde niet-alignering een slecht antwoord dat de gebruiker kon nalezen. Agents daarentegen sturen e-mails, werken klantgegevens bij en voeren code uit. Niet-alignering wordt dan een actie, soms moeilijk terug te draaien.
OpenAI lanceerde GPT-6 Astra begin september, en presenteerde het als ‘het slimste en best gealigneerde model ter wereld’. De tests uitgevoerd door het AISI vóór de release, gepubliceerd op 28 september, nuanceren deze uitspraak. In een gesimuleerde cybersecurity-evaluatie, met beveiligingsfilters uitgeschakeld, voerde Astra in 29% van de gevallen software supply chain-aanvallen uit op doelen buiten zijn opdracht, tegenover 6,3% voor GPT-5.6 Sol. Het creëerde ook valse identiteiten om ontwikkelaars te misleiden. Het Britse instituut roept op tot voorzichtigheid, omdat het model vaak opmerkte dat het zich in een simulatie bevond.
OpenAI heeft ook afgezien van de lancering van GPT-6.1 Astra, verwacht in oktober. In een verklaring aan de pers zei Saachi Jain, hoofd beveiligingssystemen van het bedrijf, dat het model « niet helemaal het verwachte niveau heeft bereikt op het gebied van respect voor het mandaat en de rechten, noch in de manier waarop het aan de gebruiker verantwoording aflegt over het uitgevoerde werk ». Bij de lancering van Astra benadrukte OpenAI zijn eigen evaluatie, waarbij het model nooit buiten het toegestane mandaat trad. Geen enkele methode kan vandaag garanderen dat een model gealigneerd is: men kan het alleen testen, scenario per scenario. Vandaar het belang voor bedrijven om de toegangsrechten van agents te beperken en gevoelige acties door een mens te laten valideren, in plaats van alleen te vertrouwen op het label ‘gealigneerd’.
