OpenAI wypuściło z publicznej wersji beta swoje API Decisions, zaprezentowane podczas DevDay firmy 29 września. Zaprojektowane dla aplikacji i agentów podejmujących wiele drobnych decyzji, nie generuje ono tekstu, lecz zwraca typowaną odpowiedź, wpisując się w niszę tzw. modeli decyzyjnych.
API, które decyduje, zamiast pisać
OpenAI wychodzi z założenia, które podsumowuje następująco: „Aplikacje i agenci podejmują wiele drobnych decyzji w trakcie przepływu pracy. Indywidualnie są one proste. Na dużą skalę ich opóźnienia i koszty się sumują ». Działanie modelu decyzyjnego pozostaje proste: programista formułuje pytanie, definiuje dozwolone odpowiedzi i dostarcza kontekst w postaci tekstu lub obrazów. API następnie zwraca odpowiedź w jednym z trzech formatów, które aplikacja wykorzystuje do wywołania kolejnego kroku.
Format Predicate podaje prawdopodobieństwo (od 0 do 1), że warunek jest prawdziwy, np. obecność widocznego uszkodzenia na zdjęciu produktu. Format Choice wybiera opcję z listy ustalonej przez programistę, wraz z prawdopodobieństwami i wskaźnikiem pewności. Wreszcie format Score przypisuje ocenę na uporządkowanej skali poziomów, np. stopień ciężkości uszkodzenia.
To samo zapytanie może teraz grupować do 400 pytań, czyli dwa razy więcej niż w wersji beta. Wszystkie dotyczą tej samej treści i są oceniane niezależnie, więc pytanie zależne od innej odpowiedzi wymaga oddzielnego zapytania. Pod względem technicznym OpenAI nie wytrenowało dedykowanego modelu: API opiera się na GPT-6 Luna, przeprojektowanym w celu przyspieszenia inferencji, czyli przetwarzania zapytania przez model. Według firmy koncentruje ono „inteligencję Luny na pytaniach o ograniczonych odpowiedziach » i podejmuje decyzje nawet 10 razy szybciej niż Luna, gdy jest odpytywane przez API Responses.
JSON, cache i głos w menu wersji finalnej
Od czasu wersji beta API obsługuje natywne dane wejściowe w formacie JSON, czyli strukturze danych, a także obrazy osadzone w instrukcjach pytania. Prompt caching ponownie wykorzystuje wspólną część zapytania, np. dokument referencyjny. Przetwarzanie inferencji może teraz odbywać się w Stanach Zjednoczonych lub w Unii Europejskiej, jako uzupełnienie oferty Zero Data Retention dla uprawnionych klientów. API integruje się również natywnie z GPT-Live, modelem OpenAI dedykowanym konwersacjom głosowym: agent obsługi klienta może więc w trakcie rozmowy zdecydować o zadaniu pytania wyjaśniającego lub przekazaniu sprawy człowiekowi.
Jeśli chodzi o ceny, API Decisions jest rozliczane w wysokości 0,10 USD za milion tokenów wejściowych i 0,01 USD za milion tokenów w cache. Tokeny wyjściowe nie są płatne. Zapis do cache na okres 30 minut lub 12 godzin podlega oddzielnej wycenie, a przetwarzanie regionalne może wiązać się z dodatkowym kosztem.
Zasada działania zbliżona do Jev
Działanie przypomina Jev, model decyzyjny startupu TypeSafe AI. Znajdujemy te same trzy typy pytań, „predicate » OpenAI odpowiada „Noul » Jev, a także rozliczenie ograniczone do tokenów wejściowych. Podejście się jednak różni: TypeSafe AI zaprojektowało dedykowaną architekturę i metodę treningu, podczas gdy OpenAI adaptuje istniejący model językowy. API Decisions kosztuje również ponad dwa razy więcej niż Jev, wyceniany na 0,042 USD za milion tokenów wejściowych przy premierze. Obsługa obrazów jednak już nie różni obu ofert, ponieważ TypeSafe AI dodało ją do Jev w najnowszej wersji.
Według dwóch niezależnych rankingów poświęconych modelom decyzyjnym, AIM System One Index i Artificial Analysis Decision Index, model OpenAI plasowałby się za Jev, oba ustępując D1 Ultra firmy Liquid i Elephant-1 firmy Base Lab. OpenAI proponuje przetestowanie swojego API na przykładach z rzeczywistych zastosowań w swoim Decisions Playground i udostępnia niezbędną dokumentację dla programistów.
