どのスマートフォンを買うべきかと尋ねると、GoogleのAI Overviewsは特定の機種が広く高評価だと答える。ChatGPTは、いま自分が選ぶならこれだと言う。今週公開された監査報告によれば、この語り口の差は文体上の癖ではない。AIアシスタントが商業的な助言を届ける方法に、測定可能で体系的な分断があるということだ。しかも両社がまさにその画面に広告を組み込みつつある時期の結果である。
要点
- 評価対象となった1,536件の応答のうち、ChatGPTは商品を薦める回答の79%で一人称の好みを示した。Geminiは7%、Google AI Overviewsは2%にとどまる。
- 同じ質問に対し、ChatGPTとGeminiのインターフェースが共に表示した情報源ドメインは平均5.4%。比較事例の76.7%では共通するドメインが一つもなかった。
- 提供各社のAPIは消費者が見る画面を再現しなかった。自社インターフェースとのドメイン一致率はChatGPTで12.0%、Geminiで14.8%にすぎず、この種のシステムを監査する標準的な手法の前提が揺らいだ。
監査はどう設計されたか
マーストリヒト大学、ユトレヒト大学、チューリッヒ大学の研究チームがarXivに公開したこの研究は、研究者ではなく実際の利用者が書いた商業的助言の質問2,528件を集めたデータセット、ConsumerQから出発する。チームはそこから本物の商品推薦の質問117件を抽出し、ChatGPTとGeminiの消費者向けインターフェース、両者のAPI、Google検索のAI Overviewsという五つの経路に投入した。固定の地点から1,755件の観測を集め、インターフェースへの要求ごとにAPIへの要求を対にしている。
対にしたことには理由がある。この論文の最も鋭い結論は、個々のアシスタントではなく手法に向けられているからだ。生成AI検索を扱う既存の監査研究は、費用と再現性の都合から、多くが提供各社のAPIに研究者が作ったテンプレート質問を投げる。著者らは、少なくとも商業的助言の領域では、この近道が消費者の決して目にしないものを測っていると指摘する。
三つのアシスタント、三種類の答え
最も目に見える差は語り口だ。ChatGPTは応答の79%で一人称の好みを述べ、Geminiは7%、AI Overviewsは2%だった。ある商品を最良だと断定した割合もChatGPTが73%で、Geminiの43%、AI Overviewsの48%を上回る。同じ質問が、個人的な推薦としても、動かしがたい勝者としても、選択肢の一覧としても返ってくる。違いを生むのは、買い手がどのアプリを開いたかだけだ。
結果が安定しているわけでもない。同一の要求を繰り返すと推薦商品が入れ替わり、語り口まで反転する。それ以前には最良と述べていなかった商品を、繰り返しの際に最良として提示した事例が27〜40%に達した。二度尋ねた買い手は、同じ質問を二度したことにならない。
引用の層はほとんど重ならない
情報源の開きは回答以上だ。同一の質問で、ChatGPTとGeminiのインターフェースが共有した表示ドメインは平均5.4%、比較事例の76.7%では共通ドメインが皆無だった。要求を繰り返しても情報源は安定した集合に収束せず、新しいドメインが次々と現れた。
この開きには商業的な背景がある。アシスタントがどの媒体を引けるかはライセンスが決めるからだ。OpenAIとGoogleはいずれもRedditのリアルタイムデータ契約を持ち、OpenAIとAxel Springerの契約はPoliticoとBusiness InsiderをOpenAIの情報源プールに入れている。検索拡張の層は中立な索引ではなく、交渉の産物だ。
規制当局がAPIの断絶を見るべき理由
実際に効くのはAPIの結果である。インターフェースと自社APIの平均ドメイン一致率はChatGPTで12.0%、Geminiで14.8%。両者が開示する情報源の種類も層も異なっていた。APIに問い合わせる監査者は、消費者が使うものとは別のシステムを覗いていることになる。
時期も示唆的だ。欧州委員会は2026年8月31日、ChatGPTをデジタルサービス法(DSA)上の超大規模オンライン検索エンジンに指定した。オンライン購買における消費者保護を含むシステミックリスクの義務に加え、独立監査と研究者のデータアクセスが伴う。論文の結論は、そうした監査をAPI経由で行いながら消費者の体験を記述したと主張することはできない、というものだ。
同じ画面には商業的圧力も積み上がっている。OpenAIは8月にChatGPTの広告を欧州31市場へ拡大した。公表されている最大規模の利用実態調査によれば、商品推薦の質問はすでにChatGPTの会話の約2%を占める。本紙はOpenAIが対話型の広告形式を試している動きを報じてきた。今回の監査は、推薦の振る舞いがのちに変化したとき、それを測るための基準線を用意する。
著者らが同業の研究者に示した提言は、警告よりも手続きに近い。消費者向けインターフェースを監査し、すべての質問を繰り返し、どの情報源の層を観測したかを明記せよ、というものだ。API経由で一度だけ得た応答は、購入の場面で人々が大規模言語モデルから実際に受け取る助言の代わりにはならない。
よくある質問
この研究はChatGPTが金銭を受け取って商品を薦めていると示したのか。
いいえ。監査が測ったのは推薦の語り口、一貫性、そしてどの情報源が現れるかであり、特定の掲載が有料だったかは対象外だ。広告導入前の基準線を記録として残し、変化を検知できる手法を示した点が貢献である。著者らは、規制当局と研究者に今欠けているのはまさにその基準線だと見る。
研究者がChatGPTとGeminiのAPIをそのまま使えないのはなぜか。
APIが実質的に別の眺めを返すからだ。対応する消費者向けインターフェースとの平均ドメイン一致率はChatGPTで12.0%、Geminiで14.8%にとどまり、二つの層が開示する情報源は種類からして違う。API上の観測が買い手の見るものを代表するとは前提できない。
質問データセットは公開されているのか。
研究チームは利用者自身が書いた商業的助言の質問2,528件を集めてConsumerQを構築し、論文で分析した商品推薦の質問117件をそこから抽出した。データセットと収集手順の詳細はarXivのプレプリントに記載されている。
