Het verbieden van open-gewichtmodellen om cyberrisico’s te beperken zou, volgens de auteur van een opiniestuk gepubliceerd op Substack, in strijd kunnen zijn met het Amerikaanse concurrentievermogen en de risico’s op lange termijn kunnen vergroten. Hij vindt dat het debat vastzit omdat er geen rekening wordt gehouden met afwegingen en moeilijke realiteiten.
- De auteur vindt een verbod op open-gewichtmodellen schadelijk voor het Amerikaanse concurrentievermogen.
- Hij verwijt het debat dat het afwegingen en moeilijke realiteiten negeert.
- Gedocumenteerde aanvallen hangen vooral samen met gesloten modellen, terwijl open modellen nuttig blijven voor de verdediging.
- Hij vindt dat Claude Mythos ten onrechte als nieuwe klasse van cyberwapen is voorgesteld.
Drie posities in het debat
De auteur onderscheidt drie stromingen. De eerste vindt dat open-gewichtmodellen, waarvan de parameters worden gepubliceerd en kunnen worden gedownload, een onaanvaardbaar risico vormen voor het functioneren van de samenleving. Deze groep verenigt het management van enkele toonaangevende AI-laboratoria en de Amerikaanse nationale veiligheidsgemeenschap. De tweede, waarin hij zichzelf schaart, stelt dat deze modellen nodig zijn voor de verdediging en dat een verbod op hun gebruik de wereld onveiliger zou maken. Hierin zijn gematigde westerse stemmen verenigd, waaronder die van Hugging Face na het incident met OpenAI, en Joshua Saxe. De derde groep omvat Chinese bedrijven, die open-gewichtmodellen met sterke cybercapaciteiten blijven publiceren, op basis van hun eigen risico-inschatting.
De tekst verwijt het rapport van Anthropic over de risico’s van het model GLM-5.3, dat bruikbaar is als offensief cyberaanvalsinstrument, dat het de transversale vragen niet aanpakt. Het technische werk wordt redelijk geacht, maar de auteur merkt op dat er geen analyse is over de gevolgen van een verbod op open modellen, noch over de redenen waarom Chinese bedrijven deze modellen veilig genoeg achten om te publiceren.
Gegevens, afwegingen en een ander bestuur
Volgens de auteur zijn de tot nu toe gedocumenteerde aanvallen vooral gekoppeld aan gesloten modellen, toegankelijk via een programmeerinterface (API), en hij citeert met name vele aanvallen die worden toegeschreven aan modellen van OpenAI. Hij geeft verschillende mogelijke verklaringen, zonder een oordeel te vellen: zowel open modellen als gesloten API’s zouden gemakkelijk te misbruiken kunnen zijn, of kwaadwillende actoren die kritieke infrastructuur willen aanvallen zouden weinig in aantal kunnen zijn. Hij benadrukt ook dat open modellen in sommige gevoelige domeinen de enige zijn die gebruikt kunnen worden op van internet geïsoleerde netwerken.
Volgens hem benadert China de veiligheid van AI op een manier die eigen is aan zijn cultuur en machtsstructuren. Naar zijn begrip moeten Chinese bedrijven elke grote modelrelease aan de overheid melden, inclusief evaluaties, maar het is niet duidelijk of dit systeem zich uitstrekt tot cyber- of biologische risico’s. Hij schat ook in dat uitgebreide veiligheidsevaluaties van een model zoals Kimi K3 tientallen miljoenen dollars aan rekenkracht zouden kunnen kosten.
Bij de aankondiging ervan werd Claude Mythos gepresenteerd als een nieuwe klasse van cyberwapen. De auteur vindt die presentatie onjuist, en dat een accidentele verspreiding van dit model in open gewicht vooral de incidenten zou hebben versneld in plaats van een doorbraak te creëren. Volgens hem overschrijdt GLM-5.3 nu de genoemde capaciteitsdrempel, en, meer dan een maand na publicatie in open gewicht, zijn er weinig publieke bewijzen dat de situatie veel is veranderd.
