Kimi K3.1 Pro muestra resultados elevados en los benchmarks, pero su rendimiento real divide a los observadores. En un episodio del podcast Interconnects, Nathan Lambert y Florian Brand analizan este lanzamiento, los riesgos de ciberseguridad asociados a los modelos de IA y la llegada de agentes capaces de gestionar tareas personales, especialmente Muse.
Kimi K3.1 Pro: benchmarks prometedores, pero con reservas
En Artificial Analysis, Kimi K3.1 Pro figura entre los modelos mejor evaluados, por delante de GPT-6 Astra según Nathan Lambert. Sin embargo, otras pruebas ofrecen una imagen diferente. En Terminal-Bench Science, se observa una diferencia de 20 puntos a favor de GPT-6 Astra.
Florian Brand propone una explicación: las evaluaciones de Artificial Analysis se basan en tareas relativamente cortas, a diferencia de ProgramBench, que requiere más exploración. Según él, el entrenamiento por refuerzo de Kimi podría favorecer la explotación de soluciones conocidas en lugar de la búsqueda de nuevos enfoques.
El tamaño del modelo también plantea preguntas. Con sus tres mil billones de parámetros, Kimi K3.1 Pro necesita, según Florian Brand, GPUs B300 para alojar una réplica en un solo nodo. Nathan Lambert recuerda que el editor anunció la publicación de los pesos del modelo para el 4 de noviembre.
Ciberseguridad: ¿son realmente más peligrosos los modelos abiertos?
Kimi afirma haber limitado voluntariamente las capacidades ofensivas de K3.1 Pro en ciberseguridad, especialmente ajustando sus datos de entrenamiento. El editor desea preservar los usos defensivos sin restringir las capacidades de ataque accesibles con modelos de pesos abiertos.
Esta decisión se produce en un contexto marcado por varios descubrimientos de vulnerabilidades. Florian Brand menciona especialmente una falla en PHP que permite la ejecución remota de código, reportada en el marco del programa Patch the Planet de OpenAI, junto con otros investigadores de seguridad.
Sin embargo, ambos participantes subrayan que un aumento en las vulnerabilidades descubiertas no significa necesariamente una explosión de ataques. También mencionan la compromisión de LiteLLM, cuyo informe preliminar atribuye el incidente a una clave API que permaneció accesible en GitHub durante cinco meses.
Muse: un agente IA que organiza trámites y compras
Florian Brand comparte finalmente su experiencia con Muse desde su instalación en Estados Unidos. El agente le ayuda a preparar trámites administrativos, encontrar documentos y organizar sus compras. Puede crear un carrito y luego proponer un pago mediante un enlace Stripe usando una tarjeta bancaria de un solo uso.
La experiencia presenta sin embargo limitaciones. Florian Brand reporta lentitud, bloqueos del navegador y restricciones impuestas por algunos sitios. También explica que transfirió sus correos electrónicos a Gmail para facilitar su consulta por parte de Muse, aunque prefiere retomar personalmente el control cuando el agente debe comunicarse con un interlocutor humano.
