Dharma-AIは、文書から要求されたフィールドを抽出し、構造化データとして返す20億パラメータのモデル「Field Extractor」を発表した。同社によれば、実行コストを大幅に抑えつつ、自社ベンチマークでテストしたすべての最先端モデルを上回る性能を示している。
このモデルは、4月にリリースされ、契約書から請求書、身分証明書、フォームまで様々な文書のテキスト認識(OCR)に特化したDharmaOCR-LITEを基盤としている。OCRがページの全文を復元するのに対し、Field Extractorは別のニーズを目指している:ソフトウェアで直接利用可能な形式で、正確な情報を取得することである。ソースでは、Dharma-AIは例えば、請求書の各行をリスト形式で、または医療依頼書に記載された患者名、検査種類、日付などを例示している。従来のOCRでは、これらの値はラベルなしで出力され、適切なフィールドに関連付けるコードをさらに記述する必要がある。大規模言語モデル(LLM、テキストを操作するように訓練されたシステム)は、注意深く作成された指示でこのタスクを達成できるが、同社は、大量に繰り返す場合、この手法はコストがかかると判断している。
フィールド要求の2つの方法
Field Extractorは2種類のクエリを受け入れる。オープンモードでは、スキーマは提供されない:モデルは、文脈とレイアウトから文書の構造化された部分を自ら特定し、見つかったキーと値のペアを返す。スキーマ主導モードでは、ユーザーは必要なフィールド、そのタイプ(文字列、数値、ブール値)、および自身のシステムで使用するキー名を指定する。要求されたフィールドが文書に存在しない場合、モデルは値を捏造せずにnullを返す。
基本モデルであるDharmaOCR-LITE v1.1は、既存モデルに追加された小さな学習層であるLoRAアダプターを使用し、これら2つのモードをカバーする43,384の例で訓練された。データは3つのセットからなる:公開ウェブから収集された英語文書、ポルトガル語のブラジル文書、および他のヨーロッパ言語とアジア言語による多言語データのより少ない部分。
ベンチマークでの結果
ベンチマークは546文書、合計1,638ケースを対象とし、スキーマなしの完全抽出、部分スキーマ、および意図的に存在しないフィールドを含むスキーマに分けられる。モデルは0.834のスコアを達成し、Claude Opus 5の0.816、GPT-5.6 Lunaの0.741、およびテストされた他の構成を上回った。汎用モデルとの差は1.8ポイント(Claude Opus 5)から9.3ポイント(GPT-5.6 Luna)に及ぶ。
Dharma-AIはまた、より低いコストも示している。汎用APIの場合、計算はページごとの平均トークン数と各プロバイダーの公開料金に基づく。Field Extractorのコストは、単一のGPU L40Sでの計算時間に対応し、時間あたり2.24ドルで請求される。同社によれば、このモデルは比較対象のAPIよりも6倍から147倍安い。ただし、これは販売価格ではなく、セルフホスティング展開のコストはハードウェア、ボリューム、目標レイテンシに依存すると付け加えている。
訓練に使用されていない公開データセット、SROIEとFUNSDについて、ソースは2つの例を示している。SROIEのレシートでは、要求された18フィールドが正しく返され、2つの空フィールドはnullとして返される。FUNSDフォームでは、モデルは12のブールフィールドのうち、チェックされているボックスを正確にマークし、手書きのBates識別子を正しく読み取る。
Dharma-AIは、その研究論文が既に、30億パラメータモデルのDharmaOCR-LITEの以前のバージョンを、ブラジルポルトガル語でテストされた商用APIの上位に位置付けていたことを想起させている。モデルは専用ポータルでオンライン試用可能であり、そのオープンバージョンはHugging Faceで利用可能である。
