OpenAI hat seine API Decisions aus der öffentlichen Beta genommen, die erstmals auf dem DevDay des Unternehmens am 29. September vorgestellt wurde. Sie ist für Anwendungen und Agenten konzipiert, die viele kleine Entscheidungen aneinanderreihen, verfasst keinen Text, sondern gibt eine typisierte Antwort zurück und positioniert sich in der Nische der sogenannten Entscheidungsmodelle.
Eine API, die entscheidet statt zu formulieren
OpenAI geht von einer Beobachtung aus, die sie wie folgt zusammenfasst: «Anwendungen und Agenten treffen im Laufe eines Workflows viele kleine Entscheidungen. Einzeln sind sie einfach. In großem Maßstab summieren sich ihre Latenz und Kosten.» Die Funktionsweise eines Entscheidungsmodells bleibt einfach: Der Entwickler formuliert eine Frage, definiert die zulässigen Antworten und liefert den Kontext in Form von Text oder Bildern. Die API gibt dann eine Antwort in einem von drei Formaten zurück, die die Anwendung nutzt, um den nächsten Schritt auszulösen.
Das Format Predicate gibt die Wahrscheinlichkeit an, zwischen 0 und 1, dass eine Bedingung wahr ist, zum Beispiel das Vorhandensein eines sichtbaren Schadens auf dem Foto eines Produkts. Das Format Choice wählt eine Option aus einer vom Entwickler festgelegten Liste aus, mit Wahrscheinlichkeiten und einem Konfidenzwert. Schließlich weist das Format Score eine Bewertung auf einer Skala geordneter Stufen zu, wie etwa die Schwere eines Schadens.
Eine einzelne Anfrage kann nun bis zu 400 Fragen bündeln, doppelt so viele wie in der Beta. Alle beziehen sich auf denselben Inhalt und werden unabhängig voneinander ausgewertet, sodass eine Frage, die von einer anderen Antwort abhängt, eine separate Anfrage erfordert. Technisch gesehen hat OpenAI kein spezifisches Modell trainiert: Die API stützt sich auf GPT-6 Luna, das für eine schnellere Inferenz, also die Verarbeitung einer Anfrage durch das Modell, neu konfiguriert wurde. Laut dem Unternehmen konzentriert sie «die Intelligenz von Luna auf Fragen mit abgegrenzten Antworten» und trifft ihre Entscheidungen bis zu 10-mal schneller als Luna, wenn sie über die API Responses abgefragt wird.
JSON, Cache und Stimme im Angebot der finalen Version
Seit der Beta unterstützt die API native JSON-Eingaben, ein strukturiertes Datenformat, sowie Bilder, die in die Anweisungen einer Frage eingebettet sind. Das Prompt Caching nutzt den gemeinsamen Teil einer Anfrage wieder, zum Beispiel ein Referenzdokument. Die Inferenzverarbeitung kann nun in den USA oder in der Europäischen Union durchgeführt werden, als Ergänzung zur Zero Data Retention, die für berechtigte Kunden angeboten wird. Die API ist auch nativ in GPT-Live integriert, das von OpenAI für Sprachkonversationen entwickelte Modell: Ein Kunden-Support-Agent kann so mitten in einem Gespräch entscheiden, eine Klärungsfrage zu stellen oder die Anfrage an einen Menschen weiterzuleiten.
Bei den Preisen wird die API Decisions mit 0,10 $ pro Million Eingabe-Tokens und 0,01 $ pro Million Cache-Tokens berechnet. Ausgabe-Tokens werden nicht berechnet. Das Schreiben in den Cache für eine Dauer von 30 Minuten oder 12 Stunden unterliegt einer separaten Preisgestaltung, und die regionale Verarbeitung kann zusätzliche Kosten verursachen.
Ein Prinzip ähnlich wie bei Jev
Die Funktionsweise erinnert an Jev, das Entscheidungsmodell des Startups TypeSafe AI. Man findet die gleichen drei Fragetypen wieder, das «Predicate» von OpenAI entspricht dem «Noul» von Jev, sowie eine Abrechnung, die auf Eingabe-Tokens beschränkt ist. Der Ansatz unterscheidet sich jedoch: TypeSafe AI hat eine eigene Architektur und Trainingsmethode entwickelt, während OpenAI ein bestehendes Sprachmodell anpasst. Die API Decisions kostet auch mehr als doppelt so viel wie Jev, das bei seinem Start mit 0,042 $ pro Million Eingabe-Tokens berechnet wurde. Die Unterstützung für Bilder hingegen unterscheidet die beiden Angebote nicht mehr, da TypeSafe AI sie in der neuesten Version zu Jev hinzugefügt hat.
Laut zwei unabhängigen Rankings für Entscheidungsmodelle, dem AIM System One Index und dem Artificial Analysis Decision Index, würde das Modell von OpenAI hinter Jev rangieren, wobei beide von D1 Ultra von Liquid und Elephant-1 von Base Lab dominiert werden. OpenAI bietet an, seine API anhand von Beispielen aus realen Anwendungsfällen in seinem Decisions Playground zu testen, und stellt die notwendige Dokumentation für Entwickler bereit.
