Kimi K3.1 Pro mostra risultati elevati nei benchmark, ma le sue prestazioni reali dividono gli osservatori. In un episodio del podcast Interconnects, Nathan Lambert e Florian Brand tornano su questo lancio, sui rischi di cybersicurezza associati ai modelli di IA e sull’arrivo di agenti capaci di gestire compiti personali, in particolare Muse.
Kimi K3.1 Pro: benchmark promettenti, ma con riserve
Su Artificial Analysis, Kimi K3.1 Pro figura tra i modelli meglio valutati, davanti a GPT-6 Astra secondo Nathan Lambert. Altri test danno però un’immagine diversa. Su Terminal-Bench Science, si parla di uno scarto di 20 punti a favore di GPT-6 Astra.
Florian Brand avanza una spiegazione: le valutazioni di Artificial Analysis riguardano compiti relativamente brevi, a differenza di ProgramBench, che richiede una maggiore esplorazione. Secondo lui, l’addestramento per rinforzo di Kimi potrebbe privilegiare lo sfruttamento di soluzioni note piuttosto che la ricerca di nuovi approcci.
Anche le dimensioni del modello sollevano interrogativi. Con i suoi tremila miliardi di parametri, Kimi K3.1 Pro richiede, secondo Florian Brand, GPU B300 per ospitare una replica su un singolo nodo. Nathan Lambert ricorda che l’editore ha annunciato la pubblicazione dei pesi del modello entro il 4 novembre.
Cybersicurezza: i modelli aperti sono davvero più pericolosi?
Kimi afferma di aver volontariamente limitato le capacità offensive di K3.1 Pro in cybersicurezza, in particolare modificando i suoi dati di addestramento. L’editore vuole preservare gli usi difensivi senza spingere i limiti delle capacità di attacco accessibili con modelli a pesi aperti.
Questa decisione arriva in un contesto segnato da diverse scoperte di vulnerabilità. Florian Brand cita in particolare una falla PHP che permette l’esecuzione di codice in remoto, segnalata nell’ambito del programma Patch the Planet di OpenAI, insieme ad altri ricercatori di sicurezza.
I due interlocutori sottolineano tuttavia che un aumento delle vulnerabilità scoperte non significa necessariamente un’esplosione degli attacchi. Menzionano anche la compromissione di LiteLLM, il cui rapporto preliminare attribuisce l’incidente a una chiave API rimasta accessibile su GitHub per cinque mesi.
Muse: un agente IA che organizza pratiche e acquisti
Florian Brand condivide infine la sua esperienza con Muse dall’installazione negli Stati Uniti. L’agente lo aiuta a preparare pratiche amministrative, ritrovare documenti e organizzare i suoi acquisti. Può comporre un carrello e poi proporre un pagamento tramite link Stripe utilizzando una carta bancaria monouso.
L’esperienza presenta comunque dei limiti. Florian Brand riferisce lentezze, crash del browser e blocchi imposti da alcuni siti. Spiega anche di aver trasferito le sue email su Gmail per facilitarne la consultazione da parte di Muse, pur preferendo riprendere personalmente il controllo quando l’agente deve comunicare con un interlocutore umano.
