O Kimi K3.1 Pro apresenta resultados elevados nos benchmarks, mas o seu desempenho real divide os observadores. Num episódio do podcast Interconnects, Nathan Lambert e Florian Brand analisam este lançamento, os riscos de cibersegurança associados aos modelos de IA e a chegada de agentes capazes de gerir tarefas pessoais, nomeadamente o Muse.
Kimi K3.1 Pro: benchmarks promissores, mas reservas
Na Artificial Analysis, o Kimi K3.1 Pro figura entre os modelos mais bem avaliados, à frente do GPT-6 Astra, segundo Nathan Lambert. Outros testes, contudo, apresentam uma imagem diferente. No Terminal-Bench Science, ele refere uma diferença de 20 pontos a favor do GPT-6 Astra.
Florian Brand avança uma explicação: as avaliações da Artificial Analysis incidem sobre tarefas relativamente curtas, ao contrário do ProgramBench, que exige mais exploração. Segundo ele, o treino por reforço do Kimi poderá privilegiar a exploração de soluções conhecidas em vez da procura de novas abordagens.
A dimensão do modelo também levanta questões. Com os seus três mil milhões de milhões de parâmetros, o Kimi K3.1 Pro necessita, segundo Florian Brand, de GPUs B300 para alojar uma réplica num único nó. Nathan Lambert recorda que o editor anunciou a publicação dos pesos do modelo até 4 de novembro.
Cibersegurança: os modelos abertos são realmente mais perigosos?
A Kimi afirma ter limitado voluntariamente as capacidades ofensivas do K3.1 Pro em cibersegurança, nomeadamente ajustando os seus dados de treino. O editor pretende preservar os usos defensivos sem alargar os limites das capacidades de ataque acessíveis com modelos de pesos abertos.
Esta decisão surge num contexto marcado por várias descobertas de vulnerabilidades. Florian Brand cita nomeadamente uma falha PHP que permite a execução remota de código, sinalizada no âmbito do programa Patch the Planet da OpenAI, com outros investigadores em segurança.
Os dois intervenientes sublinham, contudo, que um aumento das vulnerabilidades descobertas não significa necessariamente uma explosão de ataques. Referem também a comprometimento do LiteLLM, cujo relatório preliminar atribui o incidente a uma chave API que permaneceu acessível no GitHub durante cinco meses.
Muse: um agente de IA que organiza trâmites e compras
Florian Brand partilha finalmente a sua experiência com o Muse desde a sua instalação nos Estados Unidos. O agente ajuda-o a preparar trâmites administrativos, a encontrar documentos e a organizar as suas compras. Pode constituir um carrinho de compras e depois propor um pagamento por link Stripe utilizando um cartão bancário de uso único.
A experiência tem, no entanto, limitações. Florian Brand relata lentidões, bloqueios do navegador e bloqueios impostos por alguns sites. Explica também ter transferido os seus emails para o Gmail para facilitar a sua consulta pelo Muse, preferindo retomar pessoalmente o controlo quando o agente tem de comunicar com um interlocutor humano.
