In einem Blogbeitrag erklärt ein KI-Forscher, warum die Modellentwicklung in den nächsten Jahren schneller werden sollte, ohne jedoch ihre Natur zu verändern. Seiner Ansicht nach werden Modelle in einigen Jahren zu übermenschlichen GPU-Ingenieuren, die Experimente deutlich einfacher machen können. Er schätzt auch, dass mehrere Baustellen wie die Recheneffizienz und die Qualität von Reinforcement-Learning-Umgebungen Fortschritte in greifbarer Nähe bieten.
Eine immer einfachere Forschung
Der Autor stellt fest, dass Forscher aus der Industrie ihm oft sagen, dass The AI / news ihre Arbeit in einigen Jahren besser machen wird. Er führt diese Beschleunigung auf die wachsenden Fähigkeiten der Modelle in Infrastruktur und Engineering zurück, einem Punkt, dem er zustimmt. Er fügt jedoch hinzu, dass diese Fortschritte die Modelle in ihrer Natur nicht radikal anders machen werden.
Seiner Meinung nach hatte Ilya in gewisser Hinsicht die Ära der KI-Forschung zu früh angekündigt. Die Forschung ist heute dank Programmieragenten, Werkzeugen, die Code selbstständig schreiben und ändern können, viel einfacher. Der Text sieht darin den Beginn einer Phase, in der gute Ideen mehr wert sein könnten als gute Software-Implementierung.
Der Autor erinnert daran, dass das Gleichgewicht zwischen Forschung und Ingenieurwesen in der Vergangenheit bereits gekippt ist. Vor dem Aufstieg des Deep Learning war KI vor allem Forschung. Heute werden die besten Forscher an ihrer Fähigkeit gemessen, ihre Ideen in komplexen Infrastrukturen umzusetzen und zu skalieren. Er spricht von einer Beschleunigung « um einige Jahre », bei der der Engpass immer weniger das Engineering sein wird.
Effizienz und Kosten der Intelligenz
Ein großer Teil der Trainings- und Inferenzschritte, also der Nutzung eines Modells zur Beantwortung, kann genau gemessen werden. Der Text nennt die Anzahl der pro Sekunde und pro GPU verarbeiteten Tokens, die Anzahl der Tokens pro Anfrage, die FLOPs pro Token oder die Kosten pro Antwort. Der Autor schätzt, dass diese Indikatoren sehr optimierbar sind und dass KI-Agenten in einigen Jahren helfen könnten, den gesamten Prozess zu verbessern.
Die Effizienzgewinne waren laut dem Text bereits erheblich, mit beispielsweise Einsparungen « in der Größenordnung von 10 bis 30 % » bei den Betriebskosten eines Modells nach seiner Ankündigung zu einem bestimmten Preis. Der Autor erwartet, dass die effektiven Kosten der Modellintelligenz quasi exponentiell sinken werden, möglicherweise schneller als die jüngsten Trends. Er prognostiziert auch, dass das gemeinsame Design von Beschleunigern und Modellen zusätzliche Gewinne bringen wird, allerdings über längere Zeiträume.
Der Text führt außerdem an, dass ein Jevons-Paradoxon, wonach ein Effizienzgewinn die Nachfrage steigern kann, für agentische Modelle voll zum Tragen kommen sollte. Der Autor nennt den Agenten Muse von Meta als frühes Anzeichen dieser Bewegung und erwartet mehr Experimente dieser Art für verschiedene Zielgruppen.
Daten und Lernumgebungen
Der Text erwähnt schließlich den Markt für Daten für das Reinforcement Learning, also Umgebungen, in denen ein Modell durch Versuch und Belohnung lernt. Mehrere Unternehmen in diesem Sektor hätten die Schwelle von « 100 Millionen Dollar » oder « 1 Milliarde Dollar » Umsatz überschritten, eine höhere Zahl, so der Autor, als er sich vorgestellt hatte. Er stellt jedoch fest, dass die durchschnittliche Qualität dieser Produktionen « bemerkenswert niedrig » ist und viele Forscher einen Teil dessen, was sie kaufen, für minderwertig halten.
Die großen Labore ziehen dennoch einen klaren Return on Investment aus diesen Käufen, stellt der Text fest. Für den Autor ist die Schwäche vieler Umgebungen eindeutig korrigierbar.
