ルカン氏ら、AIの「プラトン的表現仮説」を定理で証明

ヤン・ルカン氏とランドール・バレストリエロ氏は10月29日、異なるデータで学習したAIモデルが同じ世界の表現へ収束するという「プラトン的表現仮説」を定理として証明したとする論文を論文公開サイトarXivに投稿した。実験では、1億900万パラメータのテキストモデルが最大720億パラメータの言語モデルよりも視覚モデルとよく整合した。

ポイント

• 異なるモダリティで別々に学習したJEPA（結合埋め込み予測アーキテクチャ）は、同じ場面の二つの見え方を学習ペアにすれば、回転一つ分しか違わない同一の表現を学ぶ――これが論文の証明である。
• 1億900万パラメータのテキストJEPAは、DINOv2やCLIPの画像エンコーダーとの整合で、最大720億パラメータまで試したすべての言語モデルを上回り、必要な学習サンプルは次トークン予測の42分の1だった。
• 結果は理想化された前提に立つ。コードはMITライセンスで公開され、誰でも検証できる。

プラトン的表現仮説とは

この仮説は2024年、米マサチューセッツ工科大学（MIT）のミニョン・フー氏、ブライアン・チャン氏、トンジョウ・ワン氏、フィリップ・イソラ氏が提唱した。学習目的やデータ、モダリティが違っても、ニューラルネットワークは表現空間で「現実の共有された統計モデルへ収束しつつある」という主張である。

バレストリエロ氏はXで「プラトン的表現仮説は今や定理だ」と投稿し、研究を発表した。論文によると、同氏は米ブラウン大学とAMI Labs、ルカン氏は米ニューヨーク大学とAMI Labsの所属だ。

JEPAによる証明の仕組み

JEPAは生のピクセルや次の単語ではなく、ある対象の一つの見え方から別の見え方の埋め込みを予測して学ぶ。研究チームは、学習ペアが同じ場面を二度見た「良い見え方」であれば、別々に学習したJEPAの表現は回転一つ分しか違わないことを示した。

一方で次トークン予測は、一つの文書の断片同士を組にする「悪い見え方」のJEPAだと位置づけた。大規模言語モデルが主に規模の拡大によって視覚モデルと整合する理由はここにある、というのが著者らの説明である。

1億900万対720億、数字で見る結果

研究チームは14万5000件のキャプションから9億4000万枚のウェブ画像のテキストまで、複数のデータで理論を検証し、整合に関するスケーリング則も示した。比較対象はQwen2.5（5億～720億）、Llama 3の8Bと70B、Mistral 7Bなどだ。GitHubのリポジトリによると、良い見え方は次トークン予測が9億サンプルで得た整合を2160万サンプルで達成した。

背景と限界

ルカン氏は、次トークン予測だけでは人間並みのAIに到達できないと長く主張してきた。その代替として掲げてきたのがJEPAである。今回の論文はその立場に数学的な裏付けを与えるが、査読前のプレプリントだ。

著者ら自身も限界を挙げる。定理は有限の世界と理想的な最適化を前提とし、恒等予測器を使うJEPAのみを扱い、一つの観測が場面を完全に決めると仮定する。だがキャプションは写真を完全には決めない。7000本の動画で学習した著者らの画像JEPAは、DINOv2よりはるかに弱い。

今後の展望

画像側の良い見え方を大規模化することは今後の課題とされた。prh-proofリポジトリはすべての図表を対応する実験と結び付けており、外部の研究機関は42倍の効率がより大きな規模でも保たれるかを直接確かめられる。

よくある質問

小さなJEPAが大規模言語モデルより優れているということか。

視覚エンコーダーとの整合や関連するゼロショットテストという狭い基準に限った話である。論文は、1億900万のモデルが文章作成や推論、コーディングで720億のモデルに匹敵するとは主張していない。

査読を経た結果か。

違う。2026年10月29日にarXivへ投稿されたプレプリントであり、定理は著者らが明示した理想化された前提に依拠している。

参考資料

• Proving and Improving the Platonic Representation Hypothesis with JEPAs — arXiv（2026年10月29日）
• galilai-group/prh-proof — GitHub
• The Platonic Representation Hypothesis — Huh他、MIT（ICML 2024）