LLMON：LLM向けネイティブマークアップ言語がGranite 4.1 3Bと8Bに登場

大規模言語モデル（LLM）は、各新しいトークン（テキストの断片）をそのコンテキストから生成します。長い対話が進むにつれ、このコンテキストにはシステムプロンプト、会話履歴、ドキュメントに関する指示、ツールの応答、ユーザーデータ、制約、推論の連鎖などが蓄積されます。この構造の多くはモデルにとって暗黙的なままか、JSONのようなLLMが読むために設計されていないフォーマットでエンコードされています。情報源によると、これが特に小規模モデルの脆弱性や、一部の予期せぬ動作の一因となっています。この構造の欠如は、プロンプトインジェクションなどを通じて攻撃者に悪用される可能性もあります。

LLMON（「LLM Object Notation」の略）は「レモン」と発音されます。そのタグは、予約された特殊な区切り文字で囲まれた、意味的に一貫したコンポーネントを示します。一意の識別子により、プログラミングにおける関数呼び出しとその引数のように、コンテキスト内のどこにあってもよい指示を、それが適用されるべきデータに関連付けることができます。

指示とデータの分離

間接的なプロンプトインジェクションは、取得したドキュメント、ツールの応答、ユーザー入力などのデータ内に悪意のある指示を隠すものです。情報源によると、LLMONモデルは、指示とデータの明示的な分離のおかげで、これらの隠された指示をほぼ無視します。一部のベンチマークでは、攻撃成功率がほぼゼロにまで低下し、一方で従来の指示チューニング済みモデルは高い確率で乗っ取られてしまいます。

開発者は、プレビューバージョンを複数のオープンソースおよびプロプライエタリモデルと、従来の自然言語処理タスクのデータにインジェクションを挿入するOPIベンチマークで比較しました。彼らは堅牢性を「1 − 攻撃成功率」として測定しています。彼らによると、LLMONはこのテストにおいて問題を「実質的に排除」し、テストされた最先端モデルの中で最高のものより47％多く、最高のオープンソースモデルより95％多く攻撃を回避しました。ASBおよびStruQベンチマークでも同様の傾向が観察されています。情報源は、これらのテストが静的インジェクションを対象としており、チームは複数ターンにわたって展開する適応型攻撃についてはまだ取り組んでいることを明らかにしています。

汎用能力とトレーニング

情報源によると、セキュリティ向上は汎用能力を犠牲にすることなく達成されています：標準的な大規模ベンチマークカテゴリにおいて、LLMONモデルはGranite 4.1 Instructモデルと同等の結果を出しています。試すには、会話のターンの各部分（instruction、data、requirementなど）に名前を付けるだけでよく、会話テンプレートがそれらをLLMONブロックに変換します。変換ライブラリを使用して、JSONのような構造化データを型付けされアドレス指定可能なブロックとして処理することもできます。

モデルは、公開済みのInstructバージョンではなく、ベースとなるGranite 4.1のチェックポイントから始まります。開発者は、従来の指示チューニングコーパスをLLMONフォーマットに書き直し、その後、コンテキスト内に存在するが意図的にリンクされていないおとりのブロックを追加しました。次に、5段階のGRPO（Generated Reward Policy Optimization）強化学習を適用し、その後、モデルがインジェクション試行に対して生成した応答から得られた1000組の選好ペアを用いたDPO（Direct Preference Optimization）段階を実施しました。その結果、情報源によると、特権ルールが生まれました：実行ブロックによって呼び出された指示は権威を持ち、一方でデータ、ドキュメント、ツールの結果は従うべき命令ではなく、読まれるべき要素となります。開発者は、これは課せられた保証ではなく、学習された振る舞いであると述べています。

情報源はまた、エージェントが基礎的な科学タスクを実行するScienceWorldベンチマークへの適応例も示しています。このタスク固有のタグ語彙が定義され、その後、LLMONモデル上でLoRAアダプターがトレーニングされました。チームはGitHub Discussionsでのフィードバックを共有するよう呼びかけており、プロジェクトは開発者によれば実験的なプレビュー版であり、本番環境での使用を意図したものではないとしています。