OpenAI heeft zijn API Decisions uit de openbare bèta gehaald, die werd onthuld tijdens het DevDay van het bedrijf op 29 september. Ontworpen voor applicaties en agents die veel kleine beslissingen achter elkaar nemen, schrijft het geen tekst maar geeft het een getypeerd antwoord terug, en positioneert zich in de niche van zogenaamde beslissingsmodellen.
Een API die beslist in plaats van schrijft
OpenAI gaat uit van een vaststelling die het als volgt samenvat: « Applicaties en agents nemen veel kleine beslissingen gedurende een workflow. Individueel zijn ze eenvoudig. Op grote schaal tellen hun latentie en kosten op. » De werking van een beslissingsmodel blijft eenvoudig: de ontwikkelaar formuleert een vraag, definieert de toegestane antwoorden en levert de context, in de vorm van tekst of afbeeldingen. De API geeft vervolgens een antwoord terug in een van drie formaten, die de applicatie gebruikt om de volgende stap te activeren.
Het Predicate-formaat geeft de waarschijnlijkheid, tussen 0 en 1, dat een voorwaarde waar is, bijvoorbeeld de aanwezigheid van zichtbare schade op de foto van een product. Het Choice-formaat selecteert een optie uit een lijst vastgelegd door de ontwikkelaar, met waarschijnlijkheden en een betrouwbaarheidsindex. Ten slotte kent het Score-formaat een score toe op een schaal van geordende niveaus, zoals de ernst van schade.
Een enkele aanvraag kan nu tot 400 vragen groeperen, twee keer zoveel als in de bèta. Ze gaan allemaal over dezelfde inhoud en worden onafhankelijk geëvalueerd, zodat een vraag die afhangt van een ander antwoord een aparte aanvraag vereist. Technisch gezien heeft OpenAI geen specifiek model getraind: de API steunt op GPT-6 Luna, herconfigureerd om de inferentie te versnellen, dat wil zeggen de verwerking van een aanvraag door het model. Volgens het bedrijf concentreert het « de intelligentie van Luna op vragen met afgebakende antwoorden » en neemt het zijn beslissingen tot 10 keer sneller dan Luna, wanneer het wordt bevraagd via de API Responses.
JSON, cache en stem op het menu van de definitieve versie
Sinds de bèta ondersteunt de API native JSON-invoer, een gestructureerd dataformaat, evenals afbeeldingen ingebed in de instructies van een vraag. De prompt caching hergebruikt het gemeenschappelijke deel van een aanvraag, bijvoorbeeld een referentiedocument. De inferentieverwerking kan nu plaatsvinden in de Verenigde Staten of in de Europese Unie, als aanvulling op de Zero Data Retention die wordt aangeboden aan in aanmerking komende klanten. De API integreert ook native met GPT-Live, het door OpenAI gewijde model voor gesprekken met stem: een klantenserviceagent kan zo midden in een gesprek beslissen om een verduidelijkingsvraag te stellen of het verzoek door te sturen naar een mens.
Wat prijzen betreft, kost de API Decisions $0,10 per miljoen invoertokens en $0,01 per miljoen cachetokens. Uitvoertokens worden niet in rekening gebracht. Het schrijven naar de cache, voor een duur van 30 minuten of 12 uur, heeft een aparte prijsstelling, en regionale verwerking kan tot extra kosten leiden.
Een principe dat lijkt op Jev
De werking doet denken aan die van Jev, het beslissingsmodel van startup TypeSafe AI. Dezelfde drie vraagtypen zijn terug te vinden, de ‘predicate’ van OpenAI komt overeen met de ‘Noul’ van Jev, evenals een facturering beperkt tot invoertokens. De aanpak verschilt echter: TypeSafe AI heeft een specifieke architectuur en trainingsmethode ontworpen, terwijl OpenAI een bestaand taalmodel aanpast. De API Decisions kost ook meer dan twee keer zoveel als Jev, dat bij lancering $0,042 per miljoen invoertokens kostte. De ondersteuning voor afbeeldingen onderscheidt de twee aanbiedingen echter niet langer, aangezien TypeSafe AI deze heeft toegevoegd aan Jev in de laatste versie.
Volgens twee onafhankelijke ranglijsten gewijd aan beslissingsmodellen, de AIM System One Index en de Artificial Analysis Decision Index, zou het model van OpenAI achter Jev staan, waarbij beide worden overtroffen door D1 Ultra van Liquid en Elephant-1 van Base Lab. OpenAI stelt voor om zijn API te testen op voorbeelden uit reëel gebruik in zijn Decisions Playground, en stelt de nodige documentatie beschikbaar voor ontwikkelaars.
