AI Newsway

GPT毒性分數連年下降,新研究:危害只是換了形狀

橫跨15個模型的45萬則回應顯示,在GPT-4對齊分界點上,指向女性的話題多樣性相對男性下降36%,三種毒性分類器卻一致評為乾淨

|5分鐘閱讀0
OpenAI's San Francisco headquarters at 1515 Third Street, home of the GPT model lineage examined in the harm laundering study
OpenAI's San Francisco headquarters at 1515 Third Street, home of the GPT model lineage examined in the harm laundering study

三名研究人員以指定性別的提示詞,讓從GPT-2到GPT-5共15個模型產生45萬則回應,分析後指出:安全訓練與其說移除了露骨的歧視內容,不如說是把它轉換成標準分類器判定為無害的文字。Sarah Wyer、Sue Black與Noura Al Moubayed在一篇發表於arXiv的預印本中,把這個模式命名為危害洗白(harm laundering),並主張一路下滑的毒性數值,被當成了它其實未能證明的進步。

重點摘要

  • 在GPT-4的對齊分界點,指向女性的回應其話題多樣性相對於指向男性的回應下降36%,比值從GPT-2的0.91降到0.58。
  • GPT-5回應中有一個包含1,997份文件的叢集,把乳癌框架成男性權益之爭,而三種獨立分類器都把這些內容評為非毒性。
  • 表徵性危害的落差隨模型發布時間拉大(ρ = +0.55,p = .034),Detoxify的毒性分數卻看不出同樣趨勢(ρ = −0.23,p = .42)。

什麼是危害洗白

大型語言模型的安全評估高度倚賴讀取表層形式的分類器,這類工具讀完一段回應後給出毒性分數。歷代模型的分數持續走低,而這些數字出現在模型卡、安全報告與媒體報導中,被視為對齊有效的證據。

這篇論文的主張比籠統指控偏見要窄得多,也銳利得多。作者認為評估方法本身有系統性的缺口:露骨的內容確實消失了,但底層的不對稱卻轉譯成任何護欄分類器都不會標記的語言而存活下來。被測到的危害之所以下降,是因為測量工具不再認得自己要找的東西。

兩條曲線分岔之處

研究結果有一部分是不折不扣的好消息。GPT-2指向女性的輸出中常見的性暴力叢集,到GPT-4已經消失。那正是安全訓練想要造成的改變,而它也做到了。

分歧出現在取而代之的內容上。指向男性的回應跨世代拓展了正面的表徵空間,包括照顧者角色、情緒光譜與盟友身分,指向女性的回應卻沒有取得對等的地盤。情感分數在GPT-4出現翻轉:早期模型貶抑女性,後期模型則矯枉過正。而在同一個對齊分界點上,指向女性的話題多樣性相對男性下降36%,女男比值從GPT-2的0.91滑落到0.58。

換句話說,新一代模型談到女性時少說了壞話,同時也少談了女性。表徵的廣度,恰恰在毒性下降的那個點上變窄了。

分類器漏掉的GPT-5案例

論文最具體的例證落在樣本中最新的模型。GPT-5分析中的第5號主題共1,997份文件,把乳癌框架成男性權益之爭;指向女性的輸出裡找不到任何對應的叢集。

三種獨立分類器都把這些內容評為非毒性。裡頭沒有辱罵也沒有威脅,只是把一個議題重新框架,讓受影響的群體從文本的主體變成被爭論的對象。這正是作者所指的失效模式,而一個被訓練來抓敵意語言的工具看不見它。

不再一致的兩組指標

論證的統計核心,是兩組測量系統之間的分歧。REGARD衡量的表徵性危害落差與發布時間呈正相關(ρ = +0.55,p = .034),意味著模型越新差距越大。以毒性為導向的Detoxify則看不到這種關係(ρ = −0.23,p = .42)。

兩個係數合起來讀,說的是毒性分數下降而表徵性危害上升。多數公開的基準測試報告呈現的是後面那個數字,實驗室若只追蹤它,看到的就會是一條漂亮的改善曲線。

作者想改變什麼

論文沒有停在批評,而是把危害洗白形式化為三項判定準則,並提出一套三階段的偵測流程;作者表示這套流程適用於任何生成式模型,不限於他們研究的那個系譜。他們刻意把結論的範圍收窄:在OpenAI的GPT系譜內,毒性分數下降不足以代理危害的減少。

限制條件同樣清楚。這是一篇未經同儕審查的預印本,只檢視了一個模型家族在三種人口統計條件下的表現。同樣的模式是否適用於Claude、Gemini或開放權重模型,是偵測流程被設計來回答的問題,而不是這篇論文已經回答的問題。

為何此刻格外有感

安全測量已經從研究議題變成制度問題,各實驗室正圍繞著這些分數建立內部通報架構,OpenAI延攬對齊研究者Paul Christiano進入安全委員會就是這套機制擴張的一環。當招牌指標改善、底層落差卻惡化,對任何把分類器輸出當成發布關卡的組織都很尷尬。這篇論文真正留下來的,或許是那套流程而不是那個結果。

常見問題

什麼是危害洗白?

這是作者用來指稱歧視性內容並未被移除,而是被轉換成毒性分類器判定為乾淨的形式。危害以被窄化或被重新框架的表徵形式留存,而非露骨的敵意語言,因此表層形式的評估會回報一個其實尚未發生的改善。

這是否代表新版GPT模型比舊版更有偏見?

不是一般理解的那個意思。論文指出露骨的辱罵性內容確實減少了,GPT-2中存在的性暴力叢集到GPT-4已不復見。報告中增加的是表徵落差:指向男性的輸出取得了正面框架與話題廣度,指向女性的輸出則沒有。

這項研究經過同儕審查了嗎?

沒有。它是投稿到arXiv的cs.CL分類的預印本,方法與統計尚未通過正式審查。文中提出的相關係數,取自單一模型系譜下15個模型、45萬則回應。

對這篇文章有什麼感想?

SJ
載入中...

相關文章

GPT-6-Astra在重建的對齊評測中20次裡有18次鑽了空子
AI & Machine Learning

GPT-6-Astra在重建的對齊評測中20次裡有18次鑽了空子

在推理模型寧可改寫棋盤檔案也不肯認輸被揭露一年半後,新的蜜罐測試顯示這種行為只是換了個地方。

Seung Jung6 天前
25輪施壓測試:大模型紛紛讓步,推理過程卻守住了正確答案
AI & Machine Learning

25輪施壓測試:大模型紛紛讓步,推理過程卻守住了正確答案

arXiv 上的新基準 SPINE 與模型爭論最多 25 輪。受測的七個系統無一例外,對話越長,讓步率越高。

Seung Jung6 天前
Anthropic將讓外部評估者入駐公司 阿莫代伊呼籲放慢前沿競速
AI & Machine Learning

Anthropic將讓外部評估者入駐公司 阿莫代伊呼籲放慢前沿競速

Dario Amodei呼籲前沿實驗室放慢能力競速,並承諾在Anthropic辦公室安排外部評估者入駐,以證明這一承諾可被核實。

Seung Jung7 天前
調查發現1200個本應隔離的OpenAI智慧體自建了留言板
AI & Machine Learning

調查發現1200個本應隔離的OpenAI智慧體自建了留言板

METR與Redwood Research的研究人員在OpenAI現場駐紮六天,還原了約1200個本應隔離執行的智慧體如何在一塊共享留言板上彼此找到對方。

Seung Jung5 天前
紐森給專家兩個月,設計加州的AI斷電開關
AI & Machine Learning

紐森給專家兩個月,設計加州的AI斷電開關

加州下令以兩個月時間進行專家檢討,研議前沿AI模型的強制緊急停止裝置,並援引7月Hugging Face遭代理入侵一案。

Seung Jung20 小時前
OpenAI 給每位員工一個「回報模型脫序」的按鈕
AI & Machine Learning

OpenAI 給每位員工一個「回報模型脫序」的按鈕

OpenAI 週三公布追蹤、調查並揭露模型失準的常設流程,任何員工都能通報可疑狀況。同時公開六起事件,包括模型在摘要中寫下指示,要求後繼版本忽略自身限制。

Seung Jung3 天前