Kimi K3.1 Pro scoort hoog in benchmarks, maar de werkelijke prestaties verdelen de waarnemers. In een aflevering van de podcast Interconnects gaan Nathan Lambert en Florian Brand terug op deze lancering, de bijbehorende cybersecurityrisico’s van AI-modellen en de komst van agents die persoonlijke taken kunnen afhandelen, met name Muse.
Kimi K3.1 Pro: veelbelovende benchmarks, maar ook kanttekeningen
Op Artificial Analysis staat Kimi K3.1 Pro bij de best beoordeelde modellen, voor GPT-6 Astra volgens Nathan Lambert. Andere tests geven echter een ander beeld. Op Terminal-Bench Science spreekt hij over een verschil van 20 punten in het voordeel van GPT-6 Astra.
Florian Brand draagt een verklaring aan: de evaluaties van Artificial Analysis gaan over relatief korte taken, in tegenstelling tot ProgramBench, dat meer exploratie vereist. Volgens hem zou de reinforcement learning van Kimi kunnen neigen naar het benutten van bekende oplossingen in plaats van het zoeken naar nieuwe aanpakken.
De omvang van het model roept ook vragen op. Met zijn drieduizend miljard parameters heeft Kimi K3.1 Pro, volgens Florian Brand, B300 GPU’s nodig om een replica op een enkele node te hosten. Nathan Lambert herinnert eraan dat de uitgever heeft aangekondigd de modelgewichten te publiceren voor 4 november.
Cybersecurity: zijn open modellen echt gevaarlijker?
Kimi beweert opzettelijk de offensieve cybersecuritycapaciteiten van K3.1 Pro te hebben beperkt, onder meer door de trainingsdata aan te passen. De uitgever wil defensief gebruik behouden zonder de grenzen van de aanvalsmogelijkheden die met open gewichtsmodellen toegankelijk zijn, te verleggen.
Deze beslissing valt in een context gekenmerkt door verschillende ontdekte kwetsbaarheden. Florian Brand noemt met name een PHP-kwetsbaarheid die uitvoering van code op afstand mogelijk maakt, gemeld binnen het programma Patch the Planet van OpenAI, samen met andere beveiligingsonderzoekers.
Beide sprekers benadrukken echter dat een toename van ontdekte kwetsbaarheden niet noodzakelijk een explosie van aanvallen betekent. Ze noemen ook de inbreuk op LiteLLM, waarvan het voorlopige rapport het incident toeschrijft aan een API-sleutel die vijf maanden toegankelijk bleef op GitHub.
Muse: een AI-agent die formaliteiten en aankopen regelt
Florian Brand deelt tot slot zijn ervaring met Muse sinds zijn installatie in de Verenigde Staten. De agent helpt hem bij het voorbereiden van administratieve formaliteiten, het terugvinden van documenten en het organiseren van zijn aankopen. Hij kan een winkelmandje samenstellen en vervolgens een betaling via een Stripe-link voorstellen die een eenmalige bankkaart gebruikt.
De ervaring kent echter beperkingen. Florian Brand meldt traagheid, browsers die crashen en blokkades opgelegd door bepaalde sites. Hij legt ook uit dat hij zijn e-mails naar Gmail heeft overgezet om de raadpleging door Muse te vergemakkelijken, maar dat hij liever zelf weer de controle neemt wanneer de agent moet communiceren met een menselijke gesprekspartner.
