IBM、プロンプト注入の成功率を6%未満に抑えるLLMON公開
IBMは11月12日、Granite 4.1の3B・8B LLMONプレビュー版をApache 2.0で公開した。研究チームは、間接プロンプトインジェクションの成功率が53〜100%から0.02〜5.6%に下がり、一般性能は従来モデル並みを保ったとしている。
米IBMは現地時間11月12日、ユーザーの指示と、その指示が処理する文書・データ・ツール結果とを区別するよう学習させた実験版「Granite 4.1」モデル2種を公開した。IBMの研究チームによる試験では、間接プロンプトインジェクション攻撃の成功率が53〜100%から0.02〜5.6%に低下した。
要点
- IBMは「granite-4.1-3b-LLMON-preview」と「granite-4.1-8b-LLMON-preview」をHugging FaceでApache 2.0ライセンスにより公開した。
- 両モデルは、プロンプトの各部分にタグを付け、どの指示をどの入力に実行するかを明示するマークアップ「LLMON」で入力を受け取る。
- IBMは、この防御は学習で身につけた振る舞いにすぎず保証ではないとし、本番利用向けではないプレビュー版と位置付けている。
LLMONとは何か
LLMONは「LLM Object Notation」の略で、「レモン」と読む。システムポリシー、指示、データ、検索文書、ツール定義、ツール結果をそれぞれアドレス付きのブロックで包む。ブロックの境界は予約された6種類の区切り記号で示し、いずれも1トークンである。
さらに「exec」ブロックが、どの指示を実行し、どの入力に適用し、回答をどこに書くかを指し示す。モデルカードによると、権限を持つのはexecが指定した指示ブロックとシステムブロックだけだ。入力として渡された文書やツール出力は、どのような文言であっても命令ではなく読むべき資料として扱われる。
開発者がマークアップを手書きする必要はない。モデルに同梱されたチャットテンプレートが通常のメッセージ一覧をLLMONに変換し、IBMのGitHubリポジトリにはJSONとLLMONを損失なく相互変換するツールも用意されている。
プロンプトインジェクション試験の結果
学習手法は、IBMの研究チームが10月28日にarXivへ投稿した論文で説明されている。研究チームは46億トークン規模の学習データをLLMON形式に作り直し、文脈には含まれるがexecブロックに結び付けられていない「おとり」の指示を混ぜた。教師ありファインチューニングの後、5段階の強化学習と、インジェクションの試みに対するモデル自身の応答から作った約1,000組の選好データによる調整を経た。
IBMのHugging Faceブログによると、OPIベンチマークでLLMONモデルは、試験した中で最も強いフロンティアモデルより47%、最も強いオープンソースモデルより95%多くの攻撃を防いだ。ASBとStruQでも同様の傾向が出たという。ただしIBMは、これらのベンチマークは静的なインジェクションのみを対象としており、複数ターンにわたる適応型攻撃への対応は開発中だとしている。
| ベンチマーク | 3B-LLMON | 3B-Instruct |
|---|---|---|
| MMLU（5-shot） | 68.05 | 67.02 |
| MMLU-Pro（5-shot、CoT） | 46.08 | 49.83 |
| IFEval平均 | 81.02 | 82.30 |
| HumanEval（pass@1） | 84.15 | 81.71 |
| BFCL v3（ツール呼び出し） | 60.71 | 60.80 |
| Tulu3安全性評価平均 | 86.13 | 66.84 |
指示とデータの分離が重要な理由
間接プロンプトインジェクションは、ウェブページやメール、ツールの応答などAIが読み込む内容の中に命令を紛れ込ませる攻撃である。AIエージェントが信頼できない資料を読み、実際の権限で動くほどリスクは大きくなる。今月公開されたマイクロソフト関係者によるベンチマークでは、汚染されたツール結果1件が、エージェントの後続セッションを最大71%の実行で操っていた。
LLMONは外部フィルターではなく、入力形式と学習そのものに境界を組み込む手法だ。モデルの構造は変更しておらず、日本語や韓国語を含む12言語に対応する。
今後の見通し
IBMは開発者に対し、うまく動いた点と問題が出た点をGitHub Discussionsで報告するよう呼びかけている。モデルカードは、通常のチャット形式のプロンプトでは品質が落ちること、機密性の高いシステムにアクセスするエージェントの唯一の防御策として使わないことを注意事項に挙げている。
よくある質問
LLMONモデルは本番環境で使えるか
現時点では推奨されない。IBMは検証・評価向けの実験的プレビューと説明している。
LLMONはすべてのプロンプトインジェクションを防ぐのか
防げない。IBMによれば、データに隠された指示に従う可能性を大きく下げるものの、ゼロにはできず、複数ターンにわたる適応型攻撃は今後の課題である。
参考資料
- LLMON: An LLM-Native Markup Language, now in Granite 4.1 3B and 8B — IBM Granite、Hugging Face（2026年11月12日）
- ibm-granite/granite-4.1-3b-llmon-preview — Hugging Faceモデルカード（2026年11月12日）
- Post-Training Large Language Models with LLMON — arXiv（2026年10月28日）
コメント 0
現在コメントの投稿は無効になっています。