Führende KI-Labore, allen voran OpenAI und Anthropic, lassen Tausende von Agenten gleichzeitig arbeiten, um ihre Prozesse und ihre Produktion zu verbessern. In einer Analyse, die im Newsletter Interconnects veröffentlicht wurde, hinterfragt der Autor, wie dieser Rhythmus die Erwartungen der Mitarbeiter verändert und die Vorstellung, dass KI-Risken zum Aussterben der Menschheit führen könnten, was er als «sehr religiös» einstuft.
Seiner Ansicht nach verstärkt die sehr wettbewerbsorientierte Kultur der Szene in San Francisco jede KI-bezogene Sorge. Er erinnert an die vielen Debatten über KI-Sicherheit und die Tragfähigkeit von Open-Source-KI, die die Jahre 2023 und 2024 prägten. Die damals prognostizierten Hauptrisiken sind nicht innerhalb der erwarteten Zeiträume eingetreten. Er zitiert auch Vorfälle wie «OpenAI-HuggingFace» und schätzt, dass der Anstieg der Ängste, insbesondere seitdem die Agenten Anfang 2026 effizienter geworden sind, sich noch verstärken könnte.
Eine auf eine nahe Zukunft ausgerichtete Gemeinschaft
Der Autor greift die Zusammenfassung von Richard Ngo auf, der beobachtet, dass sich ein Großteil der KI-Sicherheitsgemeinschaft auf Szenarien einer Intelligenzexplosion in den nächsten Jahren einstellt. Laut Ngo werden diese Erwartungen «in ihrer Richtung richtig, aber in den Fakten falsch sein». Er schreibt unter anderem: «Wir werden in den nächsten 8 Jahren keine Superintelligenz haben, aber die Dinge werden sich so schnell bewegen, dass es den Anschein erwecken wird, als hätten diejenigen, die kurze Zeiträume vertreten haben, recht gehabt.»
Der Autor stellt diese Position seiner eigenen Hypothese gegenüber, die er «lossy self-improvement» nennt, also eine Selbstverbesserung «mit Verlusten», im Gegensatz zur rekursiven Selbstverbesserung der KI (RSI), bei der eine KI zur Verbesserung ihres eigenen Designs beiträgt. Er ist der Ansicht, dass die automatisierbare Forschung noch zu begrenzt ist, um die Fortschritte stark zu beschleunigen, dass die abnehmenden Erträge durch den parallelen Einsatz zusätzlicher Agenten real sind und dass Ressourcenbeschränkungen und politische Faktoren stark ins Gewicht fallen.
Sehr unterschiedliche Zeitpläne je nach Experte
Der Autor stützt sich auf Podcasts von Dwarkesh mit Noam Brown und anschließend mit John Schulman, Beren Millidge und Charlie O’Neill. In diesen Gesprächen nennen die Teilnehmer Zeiträume für mehrere Fähigkeiten. Für einen «drop-in remote worker», der einen Monat lang allgemeine Büroarbeit leisten kann, nennt John Schulman etwa ein Jahr für eine «ordentliche» Version, Charlie O’Neill etwa ein Jahr mit programmatischem Zugriff auf Werkzeuge und zwei Jahre, wenn ein Browser verwendet werden muss, während Beren Millidge von etwa drei Jahren für vollständige Allgemeingültigkeit spricht.
Für eine Verzehnfachung der Produktivität von KI-Forschern nennt John Schulman etwa zwei Jahre, Charlie O’Neill zwischen fünf und zehn Jahren, und Beren Millidge hält die Schätzung von zwei Jahren für plausibel, ohne eine eigene vorzuschlagen. Für eine KI, die die besten menschlichen Experten in allen computerbezogenen Arbeiten, einschließlich mehrjähriger Projekte («ASI»), übertrifft, spricht John Schulman von drei bis vier Jahren, Beren Millidge von etwa fünf Jahren für die von den Laboren anvisierten Bereiche und Charlie O’Neill von fünf bis zehn Jahren.
Gewinne vor allem in der Effizienz
Der Autor betont, dass die Fortschritte keine klaren Schwellen überschreiten, da die Intelligenz der Modelle je nach Aufgabe ungleich bleibt. Er schätzt, dass die experimentelle Schleife zehnmal schneller werden könnte, nicht aber die Hypothesenbildung. Seiner Ansicht nach sollte die Selbstverbesserung vor allem dazu beitragen, Modelle kostengünstiger zu machen und Multi-Agenten-Systeme zu verbessern, da die Dienstmetriken von LLMs messbar sind.
Er bleibt jedoch bezüglich der Kosten vorsichtig, da die Skalengesetze zeigen, dass exponentielle Ressourcen für lineare Intelligenzgewinne benötigt werden. Er zitiert John Schulman zum Post-Training, dessen Automatisierung er für schwierig hält: «Es ist sehr einfach, das Post-Training auf eine Weise zu vermasseln, die in den Benchmarks nicht auftaucht.» Abschließend zitiert er einen Abschnitt aus der Claude Fable 5.1 & Mythos 5.1 System Card: «Wir glauben, dass der interne Einsatz neuerer KI-Modelle ein Schlüsselfaktor war, um das derzeitige Fortschrittstempo aufrechtzuerhalten, aber wir sehen noch keine klaren Anzeichen für eine spektakuläre Beschleunigung über dieses Tempo hinaus.» Derzeit bleibt die eigene Hypothese des Autors sein Referenzpunkt.
