ChatGPTが架空の証人を捏造、ニューメキシコ州最高裁が弁護士に5000ドルの制裁

ニューメキシコ州最高裁判所は、殺人罪で有罪となった依頼人の控訴趣意書にChatGPTが創作した警察官や目撃者の供述を引用したとして、担当した弁護人に5000ドルの制裁金を科し、法廷侮辱と認定した。

要点

• ニューメキシコ州最高裁は水曜日、サンタフェの弁護士Stephen Aarons氏に5000ドルの制裁金を科して法廷侮辱と認定し、州の弁護士懲戒委員会に付託すると表明した。
• 趣意書には実在しない証人による虚偽の証言が含まれ、銃撃犯が濃い色のズボンと白いシャツを着ていたという作り話まで書かれていたと裁判所は指摘した。
• Aarons氏は、機械が生成した公判記録をChatGPTに読み込ませれば完璧な要約が返ってくると考えており、このツールがどこまで幻覚を起こすのかを理解していなかったと釈明した。

この制裁はロイターが最初に報じ、水曜日に公開された裁判所文書に詳細が記されている。裁判官らは、Aarons氏がAIで作成した趣意書の事実関係と法的根拠を検証せず、反省の姿勢も依頼人への配慮も欠いていたと判断した。

捏造された趣意書の中身

Aarons氏が担当していたのは、子どもの母親を殺害した罪で昨年有罪が確定し終身刑を言い渡されたOscar Renee Sandoval被告の控訴だった。Sandoval被告のために提出された主たる趣意書は、AI関連の制裁事例でおなじみになった「存在しない判例の引用」にとどまらなかった。法廷に立ったことのない証人や、そのような供述をしていない警察官の発言までもが引用されていた。

裁判所は先月、捏造された記述がどのように書面に入り込んだのかを説明するようAarons氏に命じ、特に銃撃犯の服装に関する架空の供述を問題視した。8月21日の審問でAarons氏は、コンピューターが生成した公判記録と事件資料をチャットボットに入力し、裁判の内容を信頼できる形で要約してくれると思い込んでいたと述べた。

C. Shannon Bacon判事は、現役の弁護士が広く知られたリスクを見落とすはずがないとして、この説明に納得しなかった。同判事はAarons氏に対し、ニュースを見るのか、ラジオを聞くのか、世の中で起きていることを何か読むのかと問いただし、AIの幻覚に頼った弁護士の話は連日トップ記事になってきたと指摘した、と審問の様子を伝えた報道は記している。

Aarons氏はロイターに対し、反省しているとしつつ、懲戒委員会が今回の書面を悪意のない過ちとして扱うことを望むと述べた。強力ではあるが時に不安定な技術に頼るすべての専門職にとっての教訓だ、とも語っている。ChatGPTを開発するOpenAIはただちにコメントを出さなかった。

この事件が一線を越えている理由

米国ではすでに数十人の弁護士が、大規模言語モデルが作り出した引用を書面に載せたり、拘束力のある判例を誤って引用したりして懲戒を受けている。MyPillow創業者Mike Lindell氏の代理人はAIが生成した誤引用で制裁金を科され、昨年は連邦判事が虚偽と誤解を招く引用だらけの書面を出した2つの法律事務所を厳しく批判した。

刑事の控訴審で証言そのものを捏造することは、次元の異なる誤りだ。引用の誤りなら相手方弁護人や判例集を確認する裁判所書記官が気づける。しかし存在しない証言を作り出せば、裁判所が審理すべき事実の記録そのものが汚染される。しかも被告人が終身刑に服している事件でそれが起きた。Sandoval被告の控訴は現在も係属中で、9月2日にニューメキシコ州の公選弁護人Kim Chavez Cook氏に再配点された。Cook氏はコメントを控え、ドニャアナ郡地方検事局も同様だった。

この一件は、AIの出力が誰も検証しきれない速さで公的記録に入り込んでいるという、より大きな流れの一部でもある。今年の調査では新たに公開されたウェブページの相当数にAI執筆の痕跡が見られることが分かっており、専門職の提出書面も例外ではないことを裁判所がいま発見しつつある。

今後どうなるのか

実質的な影響が出るのは懲戒付託のほうだ。5000ドルの制裁金は個人開業の弁護士なら耐えられるが、業務停止はそうはいかない。複数の州裁判所と連邦裁判所は、書面の内容を一次資料と照合したことを証明する書類の提出を求め始めており、今回のような判断がそのルールに実効性を与える。AIツールを導入する法律事務所にとっての教訓は、狭く、地味だ。公判記録の要約は結局のところ情報を取り出す作業であり、取り出した内容は今も記録と一行ずつ突き合わせる必要がある。

FAQ

ニューメキシコ州の弁護士はChatGPTの使用でいくら制裁金を科されたのか?

ニューメキシコ州最高裁はStephen Aarons氏に5000ドルの制裁金を科し、法廷侮辱と認定した。裁判所はさらに州の弁護士懲戒委員会に付託して別途調査させるとしており、そこではより重い職業上の処分が下される可能性がある。

ChatGPTは趣意書で何を捏造したのか?

裁判所によれば、書面には実在しない証人による虚偽の証言に加え、作り出された警察の供述や、銃撃犯の服装・容姿に関する事実と異なる記述が含まれていた。Aarons氏はコンピューターが生成した公判記録の要約をチャットボットに依頼していた。

殺人事件の有罪判決はそのまま維持されるのか?

維持される。Oscar Renee Sandoval被告の控訴は現在も係属中で、9月2日にニューメキシコ州の公選弁護人へ再配点された。今回の制裁は前任弁護人の行為に対するものであり、控訴自体の当否を判断したものではない。