Kimi K3.1 Pro erzielt hohe Ergebnisse in Benchmarks, doch seine tatsächliche Leistung spaltet die Beobachter. In einer Folge des Podcasts Interconnects diskutieren Nathan Lambert und Florian Brand diesen Start, die mit KI-Modellen verbundenen Cybersicherheitsrisiken und das Erscheinen von Agenten, die persönliche Aufgaben übernehmen können, insbesondere Muse.
Kimi K3.1 Pro: vielversprechende Benchmarks, aber Vorbehalte
Auf Artificial Analysis gehört Kimi K3.1 Pro laut Nathan Lambert zu den bestbewerteten Modellen, noch vor GPT-6 Astra. Andere Tests zeichnen jedoch ein anderes Bild. Auf Terminal-Bench Science zeigt sich ein Unterschied von 20 Punkten zugunsten von GPT-6 Astra.
Florian Brand bringt eine Erklärung vor: Die Bewertungen von Artificial Analysis beziehen sich auf relativ kurze Aufgaben, im Gegensatz zu ProgramBench, das mehr Erkundung erfordert. Seiner Ansicht nach könnte das Verstärkungslernen von Kimi die Nutzung bekannter Lösungen begünstigen, statt neue Ansätze zu erforschen.
Die Modellgröße wirft ebenfalls Fragen auf. Mit seinen drei Billionen Parametern benötigt Kimi K3.1 Pro laut Florian Brand B300-GPUs, um eine Replik auf einem einzigen Knoten zu hosten. Nathan Lambert erinnert daran, dass der Herausgeber die Veröffentlichung der Modellgewichte bis zum 4. November angekündigt hat.
Cybersicherheit: Sind offene Modelle wirklich gefährlicher?
Kimi gibt an, die offensiven Fähigkeiten von K3.1 Pro in der Cybersicherheit absichtlich eingeschränkt zu haben, insbesondere durch Anpassung der Trainingsdaten. Der Herausgeber möchte defensive Anwendungen bewahren, ohne die Grenzen der mit offenen Gewichtsmodellen zugänglichen Angriffsfähigkeiten zu verschieben.
Diese Entscheidung erfolgt vor dem Hintergrund mehrerer entdeckter Schwachstellen. Florian Brand nennt insbesondere eine PHP-Sicherheitslücke, die Remote-Code-Ausführung ermöglicht, gemeldet im Rahmen des Programms Patch the Planet von OpenAI zusammen mit anderen Sicherheitsexperten.
Die beiden Gesprächspartner betonen jedoch, dass eine Zunahme entdeckter Schwachstellen nicht zwangsläufig eine Explosion von Angriffen bedeutet. Sie sprechen auch die Kompromittierung von LiteLLM an, deren vorläufiger Bericht den Vorfall auf einen API-Schlüssel zurückführt, der fünf Monate lang auf GitHub zugänglich war.
Muse »: « Ein KI-Agent », der Behördengänge und Einkäufe organisiert
Florian Brand teilt schließlich seine Erfahrungen mit Muse seit dessen Einführung in den USA. Der Agent hilft ihm, Behördengänge vorzubereiten, Dokumente wiederzufinden und Einkäufe zu organisieren. Er kann einen Warenkorb zusammenstellen und eine Zahlung per Stripe-Link mit einer Einweg-Kreditkarte vorschlagen.
Die Erfahrung hat jedoch Grenzen. Florian Brand berichtet von Verzögerungen, Browserabstürzen und Blockaden durch bestimmte Websites. Er erklärt auch, dass er seine E-Mails zu Gmail weitergeleitet hat, um die Nutzung durch Muse zu erleichtern, zieht es aber vor, selbst die Kontrolle zu übernehmen, wenn der Agent mit einem menschlichen Gesprächspartner kommunizieren muss.
