Kimi K3.1 Pro osiąga wysokie wyniki w benchmarkach, ale jego rzeczywista wydajność dzieli obserwatorów. W odcinku podcastu Interconnects Nathan Lambert i Florian Brand omawiają tę premierę, zagrożenia cyberbezpieczeństwa związane z modelami AI oraz pojawienie się agentów zdolnych do zarządzania zadaniami osobistymi, w szczególności Muse.
Kimi K3.1 Pro: obiecujące benchmarki, ale i zastrzeżenia
Na Artificial Analysis Kimi K3.1 Pro plasuje się wśród najlepiej ocenianych modeli, wyprzedzając GPT-6 Astra według Nathana Lamberta. Inne testy dają jednak odmienny obraz. Na Terminal-Bench Science mówi się o 20-punktowej przewadze GPT-6 Astra.
Florian Brand przedstawia wyjaśnienie: ewaluacje Artificial Analysis dotyczą zadań stosunkowo krótkich, w przeciwieństwie do ProgramBench, który wymaga więcej eksploracji. Jego zdaniem, trening przez wzmocnienie Kimi może faworyzować wykorzystanie znanych rozwiązań zamiast poszukiwania nowych podejść.
Wielkość modelu również budzi wątpliwości. Ze swoimi trzema bilionami parametrów, Kimi K3.1 Pro wymaga, według Floriana Branda, GPU B300 do hostowania repliki na pojedynczym węźle. Nathan Lambert przypomina, że wydawca zapowiedział publikację wag modelu do 4 listopada.
Cyberbezpieczeństwo: czy modele otwarte są naprawdę bardziej niebezpieczne?
Kimi twierdzi, że celowo ograniczyło możliwości ofensywne K3.1 Pro w zakresie cyberbezpieczeństwa, m.in. poprzez dostosowanie danych treningowych. Wydawca chce zachować zastosowania defensywne, nie przesuwając granic dostępnych możliwości ataku z modelami o otwartych wagach.
Decyzja ta zapada w kontekście kilku odkrytych podatności. Florian Brand wymienia m.in. lukę w PHP umożliwiającą zdalne wykonanie kodu, zgłoszoną w ramach programu Patch the Planet od OpenAI, wraz z innymi badaczami bezpieczeństwa.
Obaj rozmówcy podkreślają jednak, że wzrost liczby odkrywanych podatności niekoniecznie oznacza eksplozję ataków. Wspominają też o kompromitacji LiteLLM, której wstępny raport przypisuje incydent kluczowi API pozostającemu dostępnym na GitHubie przez pięć miesięcy.
Muse: agent AI organizujący formalności i zakupy
Florian Brand dzieli się wreszcie swoim doświadczeniem z Muse od czasu przeprowadzki do USA. Agent pomaga mu przygotować formalności administracyjne, odnaleźć dokumenty i zorganizować zakupy. Potrafi skompletować koszyk, a następnie zaproponować płatność przez link Stripe wykorzystujący kartę bankową jednorazowego użytku.
Doświadczenie ma jednak ograniczenia. Florian Brand zgłasza spowolnienia, zawieszanie się przeglądarki i blokady narzucane przez niektóre strony. Wyjaśnia również, że przeniósł swoje e-maile do Gmaila, aby ułatwić ich przeglądanie przez Muse, woli jednak przejmować osobiście kontrolę, gdy agent musi komunikować się z człowiekiem.
