Kimi K3.1 Proはベンチマークで高い結果を示しているが、実際の性能については観察者の間で意見が分かれている。 ポッドキャスト「Interconnects」のあるエピソードで、Nathan LambertとFlorian Brandは、このローンチ、AIモデルに関連するサイバーセキュリティリスク、そして特にMuseを含む個人タスクを処理できるエージェントの登場について振り返っている。
Kimi K3.1 Pro：期待されるベンチマーク、しかし懸念も
Artificial Analysisでは、Kimi K3.1 ProはNathan LambertによるとGPT-6 Astraを上回る高評価モデルの一つに位置付けられている。しかし、他のテストは異なる結果を示している。Terminal-Bench Scienceでは、GPT-6 Astraが20ポイントリードしていると述べている。
Florian Brandは説明を加える：Artificial Analysisの評価は比較的短いタスクに焦点を当てているのに対し、ProgramBenchはより多くの探索を必要とする。彼によれば、Kimiの強化学習は、新しいアプローチを探求するよりも、既知の解決策を活用することを優先している可能性がある。
モデルの規模も疑問を投げかけている。3兆のパラメータを持つKimi K3.1 Proは、Florian Brandによると、単一ノードでレプリカをホストするためにB300 GPUを必要とする。Nathan Lambertは、開発者がモデルの重みを11月4日までに公開すると発表したことを指摘している。
サイバーセキュリティ：オープンモデルは本当により危険なのか？
Kimiは、特にトレーニングデータを調整することで、K3.1 Proのサイバーセキュリティにおける攻撃能力を意図的に制限したと主張している。同社は、オープンウェイトモデルでアクセス可能な攻撃能力の限界を押し広げることなく、防御的な用途を維持したいと考えている。
この決定は、いくつかの脆弱性発見が相次いだ文脈でなされた。Florian Brandは特に、OpenAIの「Patch the Planet」プログラムの一環で報告された、リモートコード実行を可能にするPHPの脆弱性を挙げている。他のセキュリティ研究者も同様に報告している。
しかし、両出演者は、発見される脆弱性の増加が必ずしも攻撃の急増を意味するわけではないと強調する。彼らはまた、LiteLLMの侵害についても言及している。その暫定報告書は、このインシデントをGitHub上で5ヶ月間アクセス可能だったままのAPIキーに起因するとしている。
Muse：手続きと買い物を整理するAIエージェント
最後に、Florian Brandは米国に移住してからのMuseの使用経験を共有する。このエージェントは、行政手続きの準備、文書の検索、買い物の整理を手伝ってくれる。買い物かごを作成し、使い捨ての銀行カードを使用するStripeリンクによる支払いを提案することもできる。
しかし、この体験には限界もある。Florian Brandは、動作の遅さ、ブラウザのクラッシュ、特定のサイトによるブロックを報告している。また、Museによるメールの閲覧を容易にするためにGmailにメールを転送したが、エージェントが人間とコミュニケーションを取る必要がある場合には、自ら直接対応することを好むと説明している。
