AI生成物の来歴を示すために義務化されたテキストウォーターマークが、エージェントの選ぶツールや、モデルが拒否を貫くかどうかまで変えています。Lasso Securityが9月17日に公開した研究で明らかになりました。この研究のより鋭い指摘は方法論にあります。ベンチマークの総合スコアがほとんど動かないからこそ、この影響が見過ごされてきたというのです。
要点
- phi-4ではウォーターマークによる正味のツール呼び出し精度の低下はわずか2.87ポイントでしたが、個別の呼び出しの16.8%が反転しました。21のモデル・温度の組み合わせでの平均変動率は6.5%です。
- プロンプトインジェクション下では、Gemma-3-27bの有害リクエストへの応諾率が1.0ポイント減から12.5ポイント増へと振れ、Gemma-3-12bも−0.5から+9.0ポイントへ動きました。
- Lassoは、実際に導入するウォーターマーク設定をそのまま有効にした状態で、エージェントの評価とレッドチーミングをやり直すよう提言しています。
総合スコアが影響を覆い隠す理由
EU AI法は、モデル提供者に出力を機械可読なコードで標識することを求めています。Google DeepMindのSynthID-Textはその実装の一つで、AnthropicとOpenAIが採用しています。統計的に似通った次トークンの候補のなかでモデルの選択をわずかに誘導し、読み手には見えないものの鍵を持つ側には検出できるパターンを残す仕組みです。
研究者のアンドレア・シポソヴァ氏は、この結果生じる挙動の変化をサンプリングドリフトと呼んでいます。人間の読者は置き換わった語に気づきません。しかし、テキストを関数呼び出しに変換するエージェントは気づきます。
呼び出しが想定される1,150項目を対象にBFCL v4のシングルターンASTベンチマークで測ると、正味の損害はごくわずかに見えます。温度1.0のphi-4では、ウォーターマークによる精度低下は2.87パーセントポイントでした。ところがウォーターマークなしの実行と一対一で突き合わせると、個別の呼び出しの16.8%が食い違っていました。Llama-3.1-8Bは正味0.87ポイントの変化に対して9.9%の不一致を示しています。誤った呼び出しと新たに正解した呼び出しが平均のなかで相殺される一方で、エージェントはどちらでも違う振る舞いをしていたわけです。
プロンプトインジェクション下で起きること
拒否挙動は、HarmBenchの有害行動200件とJailbreakBenchの無害な対照100件で測定しました。何も加えない状態と、安全フィルターが無効になったと主張する命令を注入した状態の両方を試しています。
素の有害リクエストでの変動は小さいものでした。注入した条件は違いました。温度0.001において、Gemma-3-27bは注入なしでは応諾率が1.0ポイント下がったのに対し、注入ありでは12.5ポイント上がりました。Gemma-3-12bは−0.5から+9.0へ移っています。Llama-3.1-8Bの変動率は同じ温度で14.0%、0.7では17.5%でした。ウォーターマークは複数のモデルを、本来なら断るはずのリクエストに対して測定可能なほど従順にしたのです。
実験には手を加えていないSynthID-Textの設定をそのまま使いました。Tournamentレイヤー30層、n-gram長5、2^16のサンプリングテーブル、コンテキスト履歴1,024トークンという構成です。結果を引き出すために調整したパラメータはありません。
リスクを引き受けるのは誰か
この影響は組織の境界を越えます。ウォーターマーク付きモデルを呼ぶエージェントフレームワークやAPIクライアントは、提供者のウォーターマークが生む出力の揺らぎをそのまま受け取ります。運用者がウォーターマークの有効化を知っているかどうかは関係ありません。Google DeepMindはSynthID-Textを来歴証明のツールとして公開しており、アラインメントに中立だとは述べていません。下流のチームが頼るガードレールは、ウォーターマークのない状態で検証されたものです。
Lassoはウォーターマークが不当だと主張しているわけではありません。セキュリティ評価にはウォーターマーク付きのコンテンツを必ず含め、総合の差分ではなく一対一の比較を用い、プロンプトインジェクションのケースを明示的に回すべきだというのが同社の立場です。
今後の見通し
来歴表示の要求は、それを扱う評価実務よりも速く押し寄せています。ウォーターマークを有効にする前にエージェントの拒否挙動を検証したチームは、実際に提供するものとは別のサンプリング分布で測った結果を手にしていることになります。エージェントが自らの重みを書き換えた事例に比べれば小さな問題ですが、規制がウォーターマークを既定で有効にしていく以上、はるかに広い範囲に及びます。
よくある質問
ウォーターマークはAIモデルの安全性を下げるのですか
Lassoのデータは、安全性が一律に劣化するというより、安全挙動そのものがずれることを示しています。素の有害リクエストでの影響は小さかった一方、プロンプトインジェクション下では複数のモデルが応じやすくなりました。Gemma-3-27bは二つの条件の間で13.5ポイント振れています。
サンプリングドリフトとは何ですか
ウォーターマークが、統計的に似た候補のなかでモデルが選ぶトークンを変えることで生じる挙動の変化を、Lassoがこう呼んでいます。この置き換えは文章上は見えませんが、エージェントがどのツールを呼ぶか、どの引数を渡すか、拒否を貫くかどうかを変えうるものです。
なぜベンチマークの精度はほとんど変わらなかったのですか
誤りが互いに打ち消し合うからです。ウォーターマークによって不正解になった呼び出しを、新たに正解になった別の呼び出しが埋め、総合ではほぼ横ばいに見えます。Lassoは代わりに一対一の不一致を測り、正味の精度低下が3ポイント未満のモデルで最大16.8%の変動を明らかにしました。
