A OpenAI retirou da versão beta pública a sua API Decisions, apresentada durante o DevDay da empresa a 29 de setembro. Concebida para aplicações e agentes que encadeiam muitas pequenas decisões, não redige texto, mas devolve uma resposta tipada, posicionando-se no nicho dos chamados modelos de decisão.
Uma API que decide em vez de redigir
A OpenAI parte de uma constatação que resume assim: «As aplicações e os agentes tomam muitas pequenas decisões ao longo de um fluxo de trabalho. Individualmente, são simples. Em grande escala, a sua latência e custo acumulam-se.» O funcionamento de um modelo de decisão mantém-se simples: o programador formula uma pergunta, define as respostas permitidas e fornece o contexto, sob a forma de texto ou imagens. A API devolve depois uma resposta num de três formatos, que a aplicação utiliza para desencadear a etapa seguinte.
O formato Predicate dá a probabilidade, compreendida entre 0 e 1, de uma condição ser verdadeira, por exemplo a presença de um dano visível na foto de um produto. O formato Choice seleciona uma opção numa lista fixada pelo programador, com probabilidades e um índice de confiança. Por fim, o formato Score atribui uma nota numa grelha de níveis ordenados, como a gravidade de um dano.
Um mesmo pedido pode agora agrupar até 400 perguntas, o dobro da versão beta. Todas incidem sobre o mesmo conteúdo e são avaliadas independentemente, pelo que uma pergunta dependente de outra resposta exige um pedido distinto. Tecnicamente, a OpenAI não treinou um modelo específico: a API baseia-se no GPT-6 Luna, reconfigurado para acelerar a inferência, ou seja, o processamento de um pedido pelo modelo. Segundo a empresa, concentra «a inteligência do Luna em perguntas com respostas delimitadas» e torna as suas decisões até 10 vezes mais rápidas que o Luna, quando interrogado através da API Responses.
JSON, cache e voz no menu da versão final
Desde a versão beta, a API aceita entradas em JSON nativo, formato de dados estruturados, bem como imagens integradas nas instruções de uma pergunta. O prompt caching reutiliza a parte comum de um pedido, um documento de referência, por exemplo. O processamento da inferência pode agora ser realizado nos Estados Unidos ou na União Europeia, complementando a opção Zero Data Retention oferecida a clientes elegíveis. A API também se integra nativamente ao GPT-Live, o modelo da OpenAI dedicado a conversas de voz: um agente de apoio ao cliente pode assim decidir, em plena conversa, fazer uma pergunta de clarificação ou transferir o pedido para um humano.
Em termos de preços, a API Decisions é faturada a 0,10 $ por milhão de tokens de entrada, e 0,01 $ por milhão de tokens em cache. Os tokens de saída não são faturados. A escrita em cache, por um período de 30 minutos ou 12 horas, tem uma tarifação distinta, e o processamento regional pode implicar um custo adicional.
Um princípio próximo do Jev
O funcionamento lembra o do Jev, o modelo de decisão da startup TypeSafe AI. Encontram-se os mesmos três tipos de perguntas, o «predicate» da OpenAI correspondendo ao «Noul» do Jev, assim como uma faturação limitada aos tokens de entrada. A abordagem difere, no entanto: a TypeSafe AI concebeu uma arquitetura e um método de treino dedicados, enquanto a OpenAI adapta um modelo de linguagem existente. A API Decisions também custa mais do dobro do que o Jev, faturado a 0,042 $ por milhão de tokens de entrada no seu lançamento. O suporte a imagens, por outro lado, já não distingue as duas ofertas, a TypeSafe AI tendo-o adicionado ao Jev na sua última versão.
Segundo dois rankings independentes dedicados a modelos de decisão, o AIM System One Index e o Artificial Analysis Decision Index, o modelo da OpenAI ficaria atrás do Jev, sendo ambos dominados pelo D1 Ultra, da Liquid, e pelo Elephant-1, da Base Lab. A OpenAI propõe testar a sua API em exemplos retirados de usos reais no seu Decisions Playground, e disponibiliza a documentação necessária aos programadores.
