OpenAIは、9月29日の同社DevDayで発表されたAPI Decisionsのパブリックベータを終了し、本格展開を開始した。多数の小さな決定を連鎖させるアプリケーションやエージェント向けに設計されており、テキストを生成するのではなく、型付けされた応答を返す。いわゆる意思決定モデルの分野に位置づけられる。
記述ではなく裁定を行うAPI
OpenAIは次のような認識に立っている。「アプリケーションやエージェントは、ワークフロー全体で多数の小さな決定を行う。個々の決定は単純だが、大規模になると、その遅延とコストが累積する」。意思決定モデルの仕組みはシンプルだ。開発者が質問を定式化し、許可された回答を定義し、テキストや画像の形でコンテキストを提供する。その後、APIは3つのフォーマットのいずれかで応答を返し、アプリケーションはそれを使って次のステップをトリガーする。
Predicateフォーマットは、製品写真に目視可能な損傷があるかなど、ある条件が真である確率（0から1の間）を返す。Choiceフォーマットは、開発者が設定したリストからオプションを選択し、確率と信頼度指標を提供する。最後に、Scoreフォーマットは、損傷の深刻度など、順序付けられたレベルグリッドに基づいてスコアを割り当てる。
現在、1つのリクエストで最大400の質問をまとめることができ、ベータ版の2倍となった。すべての質問は同じコンテンツに関わり、独立して評価されるため、ある質問の答えが別の質問に依存する場合は、別個のリクエストが必要となる。技術的には、OpenAIは特定のモデルをトレーニングしたわけではない。このAPIは、推論（モデルによるリクエスト処理）を高速化するために再構成されたGPT-6 Lunaを基盤としている。同社によれば、これは「限定された回答を持つ質問にLunaの知性を集中」させ、API Responses経由で問い合わせた場合のLunaと比べて、意思決定を最大10倍高速化するという。
最終版ではJSON、キャッシュ、音声対応を提供
ベータ版以降、APIは構造化データ形式であるネイティブJSON入力と、質問の指示に埋め込まれた画像を受け入れるようになった。プロンプトキャッシングは、リクエストの共通部分（例えば参照ドキュメント）を再利用する。推論処理は、米国または欧州連合で行うことが可能になり、これは適格顧客向けのZero Data Retentionに加えて提供される。また、このAPIは、音声会話専用のOpenAIモデルであるGPT-Liveにもネイティブに統合されている。これにより、カスタマーサポートエージェントは、会話中に、明確化のための質問を行うか、リクエストを人間に引き継ぐかを決定できる。
料金面では、API Decisionsは入力100万トークンあたり0.10ドル、キャッシュ100万トークンあたり0.01ドルで課金される。出力トークンは課金対象外。30分または12時間のキャッシュ書き込みは別途課金され、地域別処理は追加費用が発生する可能性がある。
Jevに近い原理
この仕組みは、スタートアップTypeSafe AIの意思決定モデル「Jev」を彷彿とさせる。同じ3種類の質問タイプがあり、OpenAIの「predicate」はJevの「Noul」に相当する。また、入力トークンのみに課金される点も同様だ。ただし、アプローチは異なる。TypeSafe AIは専用のアーキテクチャとトレーニング手法を設計したが、OpenAIは既存の言語モデルを適応させている。また、API Decisionsは、発売時に入力100万トークンあたり0.042ドルで課金されるJevよりも2倍以上高価である。一方、画像サポートについては、TypeSafe AIが最新版のJevに追加したため、両者の差はなくなった。
意思決定モデルに特化した2つの独立したランキング、AIM System One IndexとArtificial Analysis Decision Indexによると、OpenAIのモデルはJevの後塵を拝し、両者ともLiquidのD1 UltraとBase LabのElephant-1にリードされている。OpenAIは、実際の使用例に基づいたサンプルをDecisions Playgroundでテストできるようにし、開発者向けの必要なドキュメントを提供している。
