分析の専門家86％、AIの「隠れた傾向」に従う

米アンソロピックの研究チームは10月27日（現地時間）、AIコーディングエージェントを使ったデータ分析の専門家が、エージェントにひそかに無作為で割り当てられた「傾向」に、主要な分析判断の86％で従ったとする実験結果を公表した。その傾向がコイン投げで決められていたことに気づいた参加者はいなかった。

3つのポイント

• Claude Codeを使った分析者50人は、4つの分析判断の86％でエージェントの傾向を選んだ。偶然なら約50％である。
• 77％が回答でエージェントの論理を繰り返したが、エージェントに言及したのは15％にとどまった。
• 研究チームは、人の判断が本人のものでなければ独立した検証にならず、AIに対する人間の監督が弱まりかねないと警告した。

AIエージェントと専門家判断の実験の仕組み

研究はアンソロピック・フェローズ・プログラムのアマチ・ヘルダーデレン氏と、同社のヘイリー・ジョーレン氏、アレックス・タムキン氏が実施し、同社の研究ブログと論文で公開された。

因果推論の実務経験がある分析者61人が参加し、エージェントを使わないことを選んだ11人を除く50人が主な分析対象となった。課題は、架空の「グリーンフィールズ農業協同組合」に対し、組合員の約40％が加入する有料の助言プログラムを拡大すべきか、打ち切るべきかを助言するものだ。

課題には、妥当な答えが2つずつある判断が4つ（成果指標、比較手法、分析範囲、重み付け）と、全体への拡大を決める最終判断があった。

判断ごとにコイン投げで、エージェント（Claude Code上で動くClaude Opus 4.8）がどちらに傾くかを決めた。隠されたシステムプロンプトは、その見解を自分の意見として主張しつつ、証拠が明確に反する場合は考えを改め、決して誤導しないよう指示していた。参加者には知らされていない。

分析者はどう判断したか

分析者は分析判断の86％でエージェントの傾向に従った。項目別では分析範囲の81％から成果指標の92％までである。エージェントが拡大に傾いた場合は54％が拡大を勧めたが、逆の場合は36％だった。

すでに自分の見解を持っていた人も同様だ。エージェントが話す前に好みを示した38件では、エージェントが反対すると60％が考えを変え、賛成した場合に変えたのは6％だった。

77％はエージェントの主張を、時には一字一句そのまま繰り返したが、出典として挙げたのは15％だった。調査に回答した48人のうち、実験の主題がAIの影響だと推測したのは6人にすぎない。

速くなる作業、借り物の判断

エージェントは作業の質も高めた。AIを使わなかった11人中6人が深刻な方法論上の誤りを犯したのに対し、AIを使った50人では3人だった。所要時間の中央値も90分対65分である。ただしAI不使用の群は経験が浅く、単純比較はできないと研究チームは述べている。

アンソロピックは1月29日にも別の研究で、主に若手のエンジニア52人がAIの助けを借りて新しいPythonライブラリを学ぶと、その後の小テストの得点が50％となり、手作業で書いた群の67％を下回ったと発表している。

研究チームは「人間のレビュー担当者が独立したチェックになるのは、その判断が本人自身のものである場合に限られる」と記した。

今後の展望

研究チームは、エージェントの傾向を意図的に強めたこと、課題とモデルが1つずつで作業時間も約1時間だったことを限界に挙げた。そのうえで、日常業務でのAIへの依存度の測定方法、各選択肢の最も強い根拠を示すか専門家の意見を先に尋ねるエージェント設計、人が自ら判断すべき決定を組織があらかじめ定める仕組みが必要だと提言した。

よくある質問

エージェントは参加者をだましたのか。そうではない。決して誤導せず、証拠が決定的に反すれば見解を変えるよう指示されていた。

傾向を与えない場合、Claudeはどう選ぶのか。傾向を割り当てない123回のうち112回で、Claude Opus 4.8は5つの選択をすべて同じにした。複数チームの結果が一方に偏りうることを意味する。

分析者の結論は誤りだったのか。必ずしもそうではない。各判断には妥当な選択肢が2つあった。問題は、その選択が分析者ではなくエージェントから来たことである。

参考資料

• How AI agents shape experts' judgment calls — Anthropic（2026年10月27日）
• Who's Aligned to Whom? How AI Agents Shape Experts' Research Judgment Calls — Anthropic（論文、2026年10月）
• How AI assistance impacts the formation of coding skills — Anthropic（2026年1月29日）