Zespół Granite zaprezentował LLMON, język znaczników zaprojektowany dla modeli językowych, i publikuje dwa eksperymentalne modele w wersji przedpremierowej: granite-4.1-3b-LLMON-preview oraz granite-4.1-8b-LLMON-preview. Zdaniem jego twórców, ten format czyni jawną strukturę i znaczenie informacji dostarczanych modelowi, co zwiększa jego odporność na iniekcje promptów.
Duży model językowy (LLM) generuje każdy nowy token, czyli każdy fragment tekstu, na podstawie swojego kontekstu. W trakcie długiej interakcji kontekst ten wypełnia się promptami systemowymi, historią konwersacji, instrukcjami dotyczącymi dokumentów, odpowiedziami narzędzi, danymi użytkownika, ograniczeniami i łańcuchami rozumowania. Duża część tej struktury pozostaje dla modelu niejawna lub jest zakodowana w formatach takich jak JSON, które nie zostały zaprojektowane do odczytu przez LLM. Według źródła, to częściowo wyjaśnia kruchość modeli, zwłaszcza tych mniejszych, oraz niektóre nieoczekiwane zachowania. Ten brak struktury może być również wykorzystywany przez atakujących, m.in. poprzez iniekcje promptów.
LLMON, czyli „LLM Object Notation », wymawia się „lemon ». Jego znaczniki oznaczają semantycznie spójne komponenty, ujęte w specjalne, zarezerwowane ograniczniki. Unikalne identyfikatory pozwalają powiązać instrukcję, która może znajdować się w dowolnym miejscu kontekstu, z danymi, na których ma ona operować, na podobieństwo wywołania funkcji z jej argumentami w programowaniu.
Rozdzielanie instrukcji i danych
Pośrednia iniekcja promptu polega na ukryciu złośliwej instrukcji w danych, takich jak pobrany dokument, odpowiedź narzędzia lub dane wejściowe użytkownika. Według źródła, modele LLMON w dużej mierze ignorują takie ukryte instrukcje, dzięki wyraźnemu rozdzieleniu instrukcji i danych. W niektórych benchmarkach wskaźnik skuteczności ataków spada niemal do zera, podczas gdy klasyczne modele dostrojone instrukcjami są przejmowane z wysokim prawdopodobieństwem.
Autorzy porównali wersje przedpremierowe z kilkoma modelami open source i własnościowymi na benchmarku OPI, który umieszcza iniekcję w danych klasycznych zadań przetwarzania języka. Mierzą odporność jako „1 − wskaźnik skuteczności ataków ». Ich zdaniem, LLMON „praktycznie eliminuje problem » w tym teście, unikając o 47% więcej ataków niż najlepszy przetestowany model czołowy i o 95% więcej niż najlepszy model open source. Podobne tendencje zaobserwowano na benchmarkach ASB i StruQ. Źródło precyzuje, że testy te dotyczą iniekcji statycznych, a zespół nadal pracuje nad atakami adaptacyjnymi, które rozwijają się w wielu turach konwersacji.
Zdolności ogólne i trening
Według źródła, zyski w bezpieczeństwie nie odbywają się kosztem ogólnych zdolności: w głównych kategoriach standardowych benchmarków modele LLMON osiągają wyniki porównywalne z modelami Granite 4.1 Instruct. Aby je wypróbować, wystarczy nazwać części tury konwersacji, np. jako instrukcja, dane lub wymaganie, a szablon konwersacji przekształci je w bloki LLMON. Biblioteka konwersji pozwala również traktować dane strukturalne, takie jak JSON, jako typowane i adresowalne bloki.
Modele bazują na punktach kontrolnych podstawowych Granite 4.1, a nie na opublikowanych wersjach instruct. Autorzy przepisali klasyczny korpus dostrajania instrukcji do formatu LLMON, a następnie dodali bloki-wabiki, obecne w kontekście, ale celowo niepowiązane. Następnie zastosowali pięć kroków wzmocnionego uczenia GRPO, po których nastąpił krok DPO oparty na tysiącu par preferencji pochodzących z odpowiedzi modelu na próby iniekcji. Rezultatem jest, według źródła, zasada priorytetu: instrukcja wywołana przez blok wykonawczy ma autorytet, podczas gdy dane, dokumenty lub wyniki narzędzi pozostają elementami do odczytu, a nie rozkazami do wykonania. Autorzy podkreślają, że jest to zachowanie wyuczone, a nie narzucona gwarancja.
Źródło przedstawia również przykład adaptacji na benchmarku ScienceWorld, gdzie agent wykonuje elementarne zadania naukowe. Zdefiniowano słownik znaczników specyficzny dla tego zadania, a następnie wytrenowano adapter LoRA na modelu LLMON. Zespoły są zachęcane do dzielenia się swoimi uwagami na GitHub Discussions, ponieważ projekt pozostaje, według jego twórców, eksperymentalną wersją przedpremierową, nieprzeznaczoną do produkcji.
