エヌビディア、40言語対応の文字起こしAIを公開 話者識別も
エヌビディアは10月28日、40言語の文字起こしと31言語の翻訳、話者識別を1つのモデルで処理するオープンウェイトの音声認識モデル「Nemotron 3.5 Transcribe」を発表した。英語リーダーボードでWER5.33%とオープンモデル首位だとするが、リアルタイム処理には対応しない。
エヌビディアは10月28日（現地時間）、重みを公開した音声認識モデル「Nemotron 3.5 Transcribe」を発表した。1つのモデルで40言語の文字起こし、31言語と英語の相互翻訳、話者の識別までをこなし、自然言語の指示（プロンプト）で出力を調整できる。48言語の音声データセット「Granary v2」も同時に公開したと、同社の音声チームがHugging Faceのブログで明らかにした。
要点
- モデルカードによると総パラメーター数は340億、トークンあたりの有効パラメーターは約43億。ライセンスは商用利用を認めるOpenMDW-1.1である。
- エヌビディアは、Hugging FaceのOpen ASR英語リーダーボードで平均単語誤り率（WER）5.33%を記録し、オープンウェイトモデルで首位だとしている。
- 最長1時間の録音ファイルを処理できるが、リアルタイムのストリーミングには対応しない。
Nemotron 3.5 Transcribeの特徴
音声処理では通常、文字起こし・話者分離・翻訳を別々のモデルでつなぐ。エヌビディアは音声エンコーダーとMamba・Transformerのハイブリッド型混合エキスパート（MoE）言語モデルを組み合わせ、これらを1つのモデルにまとめた。利用者は想定言語を指定したり、実際に発話された場合にのみ使う専門用語をヒントとして与えたりして、出力を調整する。
ブログによると、話者識別は13言語に対応し、最大8人まで区別する。単語単位のタイムスタンプや録音内容への質疑応答にも対応するが、音声の質疑応答は英語のみで学習している。
音声認識ベンチマークの結果
| 評価 | 指標 | 結果 |
|---|---|---|
| Open ASRリーダーボード（英語） | 平均WER | 5.33% |
| Open ASR多言語（7言語） | 平均WER | 4.62% |
| Open ASR長尺音声 | 平均WER | 10.98% |
| Artificial Analysis | AA-WER | 2.8% |
| VoiceArena話者分離ベンチ（英語） | cpWER | 32.4% |
エヌビディアによると、Artificial Analysisの評価では有効パラメーター約40億で、240億を使うモデルとオープンウェイト部門の首位に並んだ。海外メディアのThe Decoderは、その相手をミストラルの「Voxtral Small」と報じた。同メディアによれば、英語リーダーボードではQwen3-ASR-1.7Bが5.4%、IBMのGranite Speechが5.68%だった。いずれもエヌビディアの発表と外部リーダーボードの数値であり、独自に検証したものではない。
処理速度については、RTX PRO 6000 Blackwell Server Edition GPU 1基（NVFP4）で、30秒単位に分けた音声100時間分を3分未満で処理したと説明している。
背景：モデルと併せてデータも公開
Granary v2のデータセットカードによると、規模は約46万3062時間、48言語、16の元コーパスに及ぶ。初版は欧州25言語だった。ラベルはOpenMDW-1.1で公開されたが、音声そのものは各コーパスの条件に従って別途入手する必要がある。エヌビディアは、このデータセットがモデルの学習データ全体と一致するわけではないとしている。
微調整の効果も示した。Eka Careの医療ベンチマークを用いた事例では、未知の話者に対するWERが22.44%から12.17%に下がった。GB300 1基で約14GPU時間を要した。一方、一般的な英語（LibriSpeech test-clean）のWERは1.54%から1.69%へわずかに上昇した。
音声AIの競争も激しい。ミストラルは10月20日に「Voxtral 3」を発表し、OpenAIは9月に全二重の音声モデルを開発者向けに公開している。
今後の見通し
重みとデモはHugging Faceで公開され、BasetenとDeepInfraもホスティング型のエンドポイントを提供する。モデルカードはH100 80GB 1基を標準の導入環境として挙げ、公開版のvLLM連携はエヌビディアの最適化済みNIMより約2倍遅くなる見込みだと記している。エヌビディアは、名前や話者の切り替わり、回答を録音と照らし合わせて抜き取り確認するよう利用者に呼びかけている。
よくある質問
リアルタイム字幕に使えるか
使えない。最長1時間の録音ファイル向けに設計されており、リアルタイムのストリーミングには対応しない。
商用で無料で使えるか
モデルカードはOpenMDW-1.1ライセンスを明記し、商用・非商用のいずれにも利用できるとしている。
参考資料
- NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt — エヌビディア、Hugging Faceブログ（2026年10月28日）
- nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B — Hugging Faceモデルカード
- nvidia/Granary-v2 — Hugging Faceデータセットカード
- Nvidia's open Nemotron 3.5 Transcribe combines transcription, translation, and speaker recognition — The Decoder（2026年10月28日）
コメント 0
現在コメントの投稿は無効になっています。