Kimi K3.1 Pro affiche des résultats élevés dans les benchmarks, mais ses performances réelles divisent les observateurs. Dans un épisode du podcast Interconnects, Nathan Lambert et Florian Brand reviennent sur ce lancement, les risques de cybersécurité associés aux modèles d’IA et l’arrivée d’agents capables de gérer des tâches personnelles, notamment Muse.
- Kimi K3.1 Pro obtient de bons résultats sur Artificial Analysis, mais d’autres tests le placent derrière GPT-6 Astra.
- L’éditeur a volontairement limité les capacités offensives du modèle en cybersécurité, tout en préservant les usages défensifs.
- Les vulnérabilités découvertes se multiplient, sans entraîner forcément une hausse équivalente des attaques.
- Muse aide à gérer démarches et achats, mais il reste lent et se heurte à certains blocages de sites.
Kimi K3.1 Pro : des benchmarks prometteurs, mais des réserves
Sur Artificial Analysis, Kimi K3.1 Pro figure parmi les modèles les mieux évalués, devant GPT-6 Astra selon Nathan Lambert. D’autres tests donnent cependant une image différente. Sur Terminal-Bench Science, il évoque un écart de 20 points en faveur de GPT-6 Astra.
Florian Brand avance une explication : les évaluations d’Artificial Analysis portent sur des tâches relativement courtes, contrairement à ProgramBench, qui exige davantage d’exploration. Selon lui, l’entraînement par renforcement de Kimi pourrait privilégier l’exploitation de solutions connues plutôt que la recherche de nouvelles approches.
La taille du modèle soulève également des questions. Avec ses trois mille milliards de paramètres, Kimi K3.1 Pro nécessite, selon Florian Brand, des GPU B300 pour héberger une réplique sur un seul nœud. Nathan Lambert rappelle que l’éditeur a annoncé la publication des poids du modèle d’ici le 4 novembre.
Cybersécurité : les modèles ouverts sont-ils vraiment plus dangereux ?
Kimi affirme avoir volontairement limité les capacités offensives de K3.1 Pro en cybersécurité, notamment en ajustant ses données d’entraînement. L’éditeur souhaite préserver les usages défensifs sans repousser les limites des capacités d’attaque accessibles avec des modèles à poids ouverts.
Cette décision intervient dans un contexte marqué par plusieurs découvertes de vulnérabilités. Florian Brand cite notamment une faille PHP permettant l’exécution de code à distance, signalée dans le cadre du programme Patch the Planet d’OpenAI, avec d’autres chercheurs en sécurité.
Les deux intervenants soulignent toutefois qu’une augmentation des vulnérabilités découvertes ne signifie pas nécessairement une explosion des attaques. Ils évoquent aussi la compromission de LiteLLM, dont le rapport préliminaire attribue l’incident à une clé API restée accessible sur GitHub pendant cinq mois.
Muse : un agent IA qui organise les démarches et les achats
Florian Brand partage enfin son expérience de Muse depuis son installation aux États-Unis. L’agent l’aide à préparer des démarches administratives, retrouver des documents et organiser ses achats. Il peut constituer un panier puis proposer un paiement par lien Stripe utilisant une carte bancaire à usage unique.
L’expérience comporte néanmoins des limites. Florian Brand rapporte des lenteurs, des plantages du navigateur et des blocages imposés par certains sites. Il explique également avoir transféré ses courriels vers Gmail pour faciliter leur consultation par Muse, tout en préférant reprendre personnellement la main lorsque l’agent doit communiquer avec un interlocuteur humain.
