Das Granite-Team hat LLMON vorgestellt, eine für Sprachmodelle entwickelte Auszeichnungssprache, und veröffentlicht zwei experimentelle Vorabversionen der Modelle, granite-4.1-3b-LLMON-preview und granite-4.1-8b-LLMON-preview. Laut ihren Autoren macht dieses Format die Struktur und Bedeutung der an das Modell übermittelten Informationen explizit, was seine Widerstandsfähigkeit gegen Prompt-Injektionen stärkt.
Ein großes Sprachmodell (LLM) erzeugt jedes neue Token, also jedes Textfragment, aus seinem Kontext. Im Laufe einer langen Interaktion füllt sich dieser Kontext mit System-Prompts, Konversationsverläufen, Anweisungen für Dokumente, Werkzeugantworten, Nutzerdaten, Einschränkungen und Denkketten. Ein Großteil dieser Struktur bleibt für das Modell implizit oder ist in Formaten wie JSON kodiert, die nicht für die Lesbarkeit durch LLMs konzipiert wurden. Laut Quelle erklärt dies teilweise die Anfälligkeit der Modelle, insbesondere der kleineren, sowie bestimmte unerwartete Verhaltensweisen. Dieser Mangel an Struktur kann auch von Angreifern ausgenutzt werden, insbesondere durch Prompt-Injektionen.
LLMON, für ‘LLM Object Notation’, wird ‘lemon’ ausgesprochen. Seine Tags markieren semantisch kohärente Komponenten, die durch reservierte Sonderzeichen begrenzt werden. Einzigartige Identifikatoren ermöglichen es, eine Anweisung, die sich überall im Kontext befinden kann, mit den Daten zu verknüpfen, auf die sie sich beziehen soll, ähnlich einem Funktionsaufruf mit seinen Argumenten in der Programmierung.
Trennung von Anweisungen und Daten
Eine indirekte Prompt-Injektion besteht darin, eine bösartige Anweisung in einer Datenquelle wie einem abgerufenen Dokument, einer Werkzeugantwort oder einer Nutzereingabe zu verstecken. Laut Quelle ignorieren LLMON-Modelle solche versteckten Anweisungen weitgehend, dank der expliziten Trennung zwischen Anweisungen und Daten. In einigen Benchmarks sinkt die Erfolgsrate von Angriffen fast auf null, während klassische, instruktionsfeinabgestimmte Modelle mit hoher Wahrscheinlichkeit umgeleitet werden.
Die Autoren verglichen die Vorabversionen mit mehreren Open-Source- und proprietären Modellen am OPI-Benchmark, der die Injektion in Daten klassischer Sprachverarbeitungsaufgaben einfügt. Sie messen Robustheit als ‘1 − Erfolgsrate der Angriffe’. Laut ihnen ‘eliminiert LLMON das Problem praktisch’ in diesem Test, indem es 47 % mehr Angriffe vermeidet als das beste getestete State-of-the-Art-Modell und 95 % mehr als das beste Open-Source-Modell. Ähnliche Trends werden bei den Benchmarks ASB und StruQ beobachtet. Die Quelle präzisiert, dass diese Tests statische Injektionen betreffen und das Team noch an adaptiven Angriffen arbeitet, die sich über mehrere Konversationsrunden erstrecken.
Allgemeine Fähigkeiten und Training
Laut Quelle gehen die Sicherheitsgewinne nicht auf Kosten der allgemeinen Fähigkeiten: In den großen Kategorien standardisierter Benchmarks erzielen die LLMON-Modelle vergleichbare Ergebnisse wie die Granite 4.1 Instruct-Modelle. Um es auszuprobieren, genügt es, die Teile einer Konversationsrunde, wie Anweisung, Daten oder Anforderung, zu benennen; die Konversationsvorlage übernimmt dann die Umwandlung in LLMON-Blöcke. Eine Konvertierungsbibliothek ermöglicht es auch, strukturierte Daten wie JSON als typisierte und adressierbare Blöcke zu verarbeiten.
Die Modelle basieren auf den Granite 4.1 Basis-Checkpoints und nicht auf den veröffentlichten Instruct-Versionen. Die Autoren haben einen klassischen Korpus für Instruktionsfeinabstimmung in das LLMON-Format umgeschrieben und dann Köderblöcke hinzugefügt, die im Kontext vorhanden, aber absichtlich nicht verknüpft sind. Anschließend wendeten sie fünf Schritte des GRPO-Verstärkungslernens an, gefolgt von einem DPO-Schritt mit tausend Präferenzpaaren aus den Modellantworten auf Injektionsversuche. Daraus ergibt sich laut Quelle eine Privilegierungsregel: Eine von einem Ausführungsblock aufgerufene Anweisung ist maßgeblich, während Daten, Dokumente oder Werkzeuge Ergebnisse lediglich zu lesende Elemente und keine zu befolgenden Befehle bleiben. Die Autoren betonen, dass es sich um ein erlerntes Verhalten handelt, nicht um eine erzwungene Garantie.
Die Quelle stellt auch ein Beispiel für die Anpassung am ScienceWorld-Benchmark vor, bei dem ein Agent elementare wissenschaftliche Aufgaben ausführt. Ein für diese Aufgabe spezifisches Tag-Vokabular wurde definiert, und dann wurde ein LoRA-Adapter auf einem LLMON-Modell trainiert. Teams werden eingeladen, ihr Feedback auf GitHub Discussions zu teilen, da das Projekt laut seinen Autoren eine experimentelle Vorabversion bleibt, die nicht für den Produktiveinsatz bestimmt ist.
