Dharma Field Extractor przekształca dowolny dokument w ustrukturyzowane pola w formacie JSON

Dharma Field Extractor przekształca dowolny dokument w ustrukturyzowane pola w formacie JSON
3 min czytania

Dharma-AI przedstawia Field Extractor, model o 2 miliardach parametrów, który wyodrębnia z dokumentu żądane pola i zwraca je w postaci ustrukturyzowanych danych. Według firmy przewyższa on wszystkie testowane zaawansowane modele w swoim benchmarku, przy znacznie niższych kosztach wykonania.

Model opiera się na DharmaOCR-LITE, wydanym w kwietniu i specjalizującym się w rozpoznawaniu tekstu (OCR) na różnorodnych dokumentach, od umów i faktur po dokumenty tożsamości i formularze. Podczas gdy OCR odtwarza cały tekst strony, Field Extractor odpowiada na inne potrzeby: odzyskiwanie precyzyjnych informacji w formacie bezpośrednio użytecznym dla oprogramowania. W źródle Dharma-AI podaje jako przykład każdą linię faktury w postaci listy lub imię pacjenta, rodzaj badania i datę widniejące na skierowaniu medycznym. Przy klasycznym OCR te wartości pojawiają się bez etykiet i trzeba jeszcze napisać kod, który przypisze je do właściwych pól. Duży model językowy (LLM, system szkolony do manipulacji tekstem) może wykonać to zadanie przy starannie sformułowanych instrukcjach, ale firma uważa, że takie podejście staje się kosztowne przy powtarzaniu na dużą skalę.

Dwa sposoby żądania pól

Field Extractor akceptuje dwa typy zapytań. W trybie otwartym nie jest dostarczany żaden schemat: model sam identyfikuje ustrukturyzowane części dokumentu na podstawie kontekstu i układu, i zwraca znalezione pary klucz-wartość. W trybie sterowanym schematem użytkownik precyzuje żądane pola, ich typ (ciąg znaków, liczba lub wartość logiczna) oraz nazwy kluczy używane przez jego system. Jeśli żądane pole nie istnieje w dokumencie, model zwraca null zamiast wymyślać wartość.

Model bazowy, DharmaOCR-LITE v1.1, został wytrenowany na 43 384 przykładach obejmujących oba te tryby, przy użyciu adaptera LoRA, niewielkiej warstwy uczącej dodanej do istniejącego modelu. Dane pochodzą z trzech zbiorów: angielskich dokumentów zebranych z publicznego internetu, brazylijskich dokumentów w języku portugalskim oraz mniejszej części danych wielojęzycznych w innych językach europejskich i azjatyckich.

Wyniki benchmarku

Benchmark obejmuje 546 dokumentów, czyli łącznie 1 638 przypadków, podzielonych między pełną ekstrakcję bez schematu, częściowy schemat i schemat zawierający celowo nieistniejące pola. Model osiąga wynik 0,834, w porównaniu do 0,816 dla Claude Opus 5, 0,741 dla GPT-5.6 Luna i innych testowanych konfiguracji. Różnica w stosunku do modeli ogólnego przeznaczenia wynosi od 1,8 punktu (Claude Opus 5) do 9,3 punktów (GPT-5.6 Luna).

Dharma-AI wskazuje również na niższy koszt. Dla ogólnych API obliczenia opierają się na średniej liczbie tokenów na stronę i publicznych stawkach każdego dostawcy; koszt Field Extractora odpowiada czasowi obliczeń na pojedynczym GPU L40S, wycenionym na 2,24 dolara za godzinę. Według firmy model jest od 6 do 147 razy tańszy niż porównywane API. Zaznacza jednak, że nie jest to cena sprzedaży, ponieważ koszt samodzielnego wdrożenia zależy od sprzętu, wolumenu i docelowego opóźnienia.

Na publicznych zbiorach danych nieużywanych podczas treningu, SROIE i FUNSD, źródło przedstawia dwa przykłady. Na paragonie SROIE wszystkie 18 żądanych pól jest zwracanych poprawnie, w tym dwa puste pola zwrócone jako null. Na formularzu FUNSD model dokładnie zaznacza właściwe pole wyboru spośród dwunastu pól logicznych i poprawnie odczytuje ręcznie napisany identyfikator Bates.

Dharma-AI przypomina, że jej artykuł badawczy już wcześniej umieścił wcześniejszą wersję DharmaOCR-LITE, model o 3 miliardach parametrów, powyżej testowanych komercyjnych API w języku portugalskim (brazylijskim). Model można wypróbować online na dedykowanym portalu, a jego otwarte wersje są dostępne na Hugging Face.

S’abonner
Notification pour
guest

0 Commentaires
Le plus ancien
Le plus récent Le plus populaire
0
Nous aimerions avoir votre avis, veuillez laisser un commentaire.x