ブロック、文字を使わず会話を学んだ音声AI「Dessa」公開

ジャック・ドーシー氏が率いる米決済企業ブロック（Block）は10月23日（現地時間）、文字（テキスト）を一切使わず、人の話し声だけで会話を学んだ音声AI「Dessa（デッサ）」を研究プレビューとして公開した。同社は発表ページで、Dessaはテキストデータも事前学習済みの言語モデルも使わず、人の会話音声だけでゼロから学習したと説明している。

ポイント

• Dessaは聞きながら話す全二重（フルデュプレックス）の音声対音声モデルで、音声を文字に起こす工程がない。
• ブロックによると、学習にはエヌビディアのGB200 NVL72を1台だけ使い、M4 Max以上のMacBook Proでローカル動作する。
• パラメータ数、ベンチマーク、重み、価格は非公開で、まず一部のAI安全性研究者に先行提供する。

ブロックのDessaとはどんな音声AIか

現在の音声アシスタントの多くは、音声を文字に起こし、言語モデルが返答を書き、音声合成で読み上げる「リレー方式」だ。ブロックは、この方式では「テキストだけでは運べない膨大な情報が捨てられる」と指摘する。

Dessaはこの中間工程を省く。同社によると、感情や皮肉、笑い、ため息をそのまま聞き取って表現でき、相手が話している最中に相づちも打つ。大規模言語モデル（LLM）より「数百分の一の単語数」で言語を習得したとするが、具体的な数字は示していない。

GB200 NVL72の1台で学習、MacBookで動作

ブロックは「エヌビディアのGB200 NVL72わずか1台でDessaを学習させる方法を見つけた」としている。推論はM4 Maxチップ以上を搭載したMacBook Pro上で、実時間より速く動くという。

いずれも同社の主張である。モデルの規模、学習に使った音声の量、応答遅延、ベンチマークの数値は公表されておらず、第三者による検証もまだない。「テキストなしで学習し、自然な会話ができる初のAI」という主張にも「我々の知る限り」と断りを付けている。

デモ音声には、オープンAIの音声モデルGPT-Live-1との会話も含まれる。発表ページは、オープンAIがブロックとは無関係で、Dessaを推奨していないと明記した。米メディアのザ・ヴァージは、Dessaが会話相手を「ロナウド」と呼び間違えたり、クリストファー・ノーラン監督作品の話題がブライアン・シンガー監督のスーパーマン映画へそれたりした場面を指摘している。

全二重音声AIの比較：MoshiやGPT-Live-1との違い

KyutaiはMoshiの論文で同モデルを「初の全二重音声大規模言語モデル」と位置付けたが、Moshiは2.1兆トークンで事前学習したテキストモデルHeliumを土台にしている。オープンAIも9月に全二重音声モデルを開発者に開放した（OpenAI、話しながら聞く音声モデルを1分5セントで開発者に開放）。

背景：音声クローンから音声研究所へ

Dessaはもともとカナダ・トロントの機械学習スタートアップの名前である。スクエアのプレスリリースによると、同社チームは2020年2月にスクエア（現ブロック）に合流し、スクエアはディープフェイク検出技術を評価していた。米アクシオスによると、このスタートアップは2019年5月にコメディアンのジョー・ローガン氏の声を合成して話題を集めた。

ブロックによると、この研究所はラガヴァン・トゥライラトナム氏が率いる非常に小さな組織で、ドーシー氏に直属する。開発の理由には「好奇心（つまり楽しさ）、人間とAIの相互理解、そして安全性」の三つを挙げた。

今後の見通し

ブロックは公開リンクを「近日中」に用意するとしたが、時期や価格、ライセンスは明らかにしていない。当面は一部のAI安全性研究者に先行提供する。同社は「音だけで話すことを学んだモデルは未知の領域であり、外部の目が必要だ」としている。音声だけで学習する手法がテキストベースの音声モデルと競えるかは、今後の外部検証で明らかになる。

よくある質問

ブロックのDessaは今すぐ使えるのか。

まだ一般には使えない。研究プレビューの段階で、一部のAI安全性研究者に先行提供されている。

「音声だけで学習した」とはどういう意味か。

テキストデータや事前学習済みの言語モデルを使わず、人の会話の録音だけでゼロから学習したという意味だ。KyutaiのMoshiはテキストモデルを土台にしている。

Dessaの動作に必要な機器は何か。

ブロックによると、M4 Max以上のMacBook Proでローカルかつ実時間より速く動く。学習にはエヌビディアのGB200 NVL72を1台使った。

参考資料

• Dessa — Block
• Moshi: a speech-text foundation model for real-time dialogue — Kyutai、arXiv
• Welcoming the Dessa Team to Square — Square（2020年2月7日）
• Joe Rogan finds his synthetic voice — Axios（2019年5月）