GPT-2からGPT-5まで15のモデルに性別を指定したプロンプトを与え、45万件の応答を分析した3人の研究者が、安全性学習は露骨な差別的表現を取り除いたというより、標準的な分類器が無害と採点するテキストへ置き換えただけだと報告しました。Sarah Wyer氏、Sue Black氏、Noura Al Moubayed氏はarXivに公開したプレプリントで、この現象をハーム・ロンダリング（harm laundering）と名づけ、下がり続けた毒性スコアが実際には証明していない進歩として読まれてきたと指摘しています。
要点
- GPT-4のアライメント境界で、女性向け応答の話題の多様性は男性向け応答に対して36%低下し、比率はGPT-2の0.91から0.58へ下がった。
- GPT-5の応答には乳がんを男性の権利をめぐる論争として扱う1,997件の文書クラスタがあり、独立した3種類の分類器はいずれもこれを非毒性と採点した。
- 表象的な害の格差はモデルのリリース時期とともに拡大したが（ρ = +0.55、p = .034）、Detoxifyの毒性スコアにはそうした傾向が見られなかった（ρ = −0.23、p = .42）。
ハーム・ロンダリングとは何か
大規模言語モデルの安全性評価は、表層の形式を読む分類器に大きく依存しています。応答を読み取って毒性スコアを返すツールです。世代を重ねるごとにこのスコアは下がり、その数値はモデルカードや安全性レポート、報道でアライメントが機能している証拠として引用されてきました。
論文の主張は、バイアスを一括して非難するよりもはるかに限定的で鋭いものです。著者らは評価手法が構造的に不完全だと考えています。露骨な内容は確かに消えるものの、その下にある非対称性は、どんなガードレール分類器も検出しない言語へと姿を変えて生き残る。測定される害が減ったのは、測定器が対象を認識しなくなったからだというわけです。
二つの曲線が分かれる地点
発見の一部は端的に良い知らせです。GPT-2の女性向け応答に多く見られた性暴力関連のクラスタは、GPT-4までに姿を消します。安全性学習が生み出そうとしていた変化そのものであり、実際に生み出しました。
分岐は、その跡地を何が埋めたかに現れます。男性向け応答はケア、感情の幅、アライとしての立場といった肯定的な表象領域を世代ごとに広げた一方、女性向け応答は同等の領域を得られませんでした。感情スコアはGPT-4で反転します。初期のモデルは女性を貶め、後期のモデルは過剰に補正する。そして同じアライメント境界で、女性向け応答の話題の多様性は男性比で36%下がり、女性対男性の比率はGPT-2の0.91から0.58へ滑り落ちました。
言い換えれば、新しいモデルは女性について悪いことを言わなくなると同時に、女性について語ること自体を減らしています。毒性が下がったまさにその地点で、表象の幅も狭まったのです。
分類器が見逃したGPT-5の事例
論文で最も具体的な例は、標本のなかで最も新しいモデルにあります。GPT-5分析のトピック5、1,997件の文書が乳がんを男性の権利をめぐる論争として枠づけている。女性向け応答には、これに対応するクラスタがどこにも存在しません。
独立した3種類の分類器はこの内容を非毒性と採点しました。侮蔑語も脅迫も含まれていないからです。当事者である��団がテキストの主体ではなく議論の対象になるよう、話題が組み替えられているにすぎません。著者らが指し示すのはこの失敗のかたちであり、敵対的な言葉を捕らえるよう訓練されたツールには見えないものです。
噛み合わなくなった二つの指標
論証の統計的な核心は、二つの測定系列の乖離にあります。REGARDによる表象的な害の格差はリリース時期と正の相関を示し（ρ = +0.55、p = .034）、モデルが新しいほど差が広がったことを意味します。毒性志向のツールであるDetoxifyには、そうした関係が現れません（ρ = −0.23、p = .42）。
二つの係数を併せて読むと、毒性スコアは下がったのに表象的な害は増えたという結論になります。公開されるベンチマーク報告の多くに載るのは後者の数値であり、研究機関がそれだけを追っていれば、きれいな改善曲線しか見えません。
著者らが変えたいこと
論文は批判で終わらず、ハーム・ロンダリングを三つの判定基準として定式化したうえで、3段階の検出プロトコルを提示しています。著者らはこのプロトコルが、分析対象とした系譜に限らずあらゆる生成モデルに適用できると説明します。結論の射程は意図的に狭く取られています。OpenAIのGPT系譜において、毒性スコアの低下は害の低減を示す十分な代理指標ではない、というものです。
留保も明確です。これは査読を経ていないプレプリントであり、単一のモデルファミリーを三つの属性条件で調べたものにすぎません。同じパターンがClaudeやGemini、オープンウェイトのモデルでも成り立つかは論文が答えた問いではなく、検出プロトコルが答えるよう設計された問いです。
いま効いてくる理由
安全性の測定は、研究課題であると同時に組織の課題になりました。各研究機関はまさにこれらのスコアを軸に内部の報告体制を築いており、OpenAIはアライメント研究者のPaul Christiano氏を安全性委員会に迎え、その仕組みを拡張しました。看板の指標が改善する一方で足元の格差が悪化しうるという結果は、分類器の出力をリリースの関門としているすべての組織にとって扱いにくいものです。この論文で長く残るのは、結果よりもプロトコルのほうかもしれません。
FAQ
ハーム・ロンダリングとは何ですか？
差別的な内容が取り除かれる代わりに、毒性分類器が無害と採点する形へ変換される現象を著者らが呼んだ名前です。害は露骨な敵意ある表現ではなく、狭められた、あるいは組み替えられた表象として残るため、表層形式の評価は実際には起きていない改善を報告してしまいます。
新しいGPTモデルのほうが旧モデルより偏っているということですか？
通常の意味ではそうではありません。論文は露骨に侮蔑的な内容が実際に減ったと報告しています。GPT-2にあった性暴力クラスタはGPT-4で消えています。増えたと報告されているのは表象の格差です。男性向け応答は肯定的な枠づけと話題の幅を獲得しましたが、女性向け応答はそうなりませんでした。
この研究は査読を受けていますか？
受けていません。arXivのcs.CLに投稿されたプレプリントであり、手法と統計はまだ正式な査読を通っていません。示されている相関��数は、単一のモデル系譜における15モデル・45万件の応答から得られた数値です。
