엔비디아, 40개 언어 받아쓰기 AI 공개…화자 구분까지

엔비디아가 10월 28일(현지시간) 가중치를 공개한 음성 인식 모델 '네모트론 3.5 트랜스크라이브(Nemotron 3.5 Transcribe)'를 내놨다. 모델 하나로 40개 언어 받아쓰기, 31개 언어와 영어 간 번역, 화자 구분까지 처리하고 자연어 지시문(프롬프트)으로 결과를 조정할 수 있다. 48개 언어 음성 데이터셋 '그래너리 v2(Granary v2)'도 함께 공개했다고 엔비디아 음성팀이 허깅페이스 블로그에서 밝혔다.

핵심 정리

• 모델 카드 기준 전체 파라미터는 340억 개, 토큰당 활성 파라미터는 약 43억 개다. 라이선스는 상업적 이용을 허용하는 OpenMDW-1.1이다.
• 엔비디아는 허깅페이스 Open ASR 영어 리더보드에서 평균 단어 오류율(WER) 5.33%로 공개 가중치 모델 중 1위라고 밝혔다.
• 최대 1시간 길이의 녹음 파일을 처리하지만 실시간 스트리밍은 지원하지 않는다.

네모트론 3.5 트랜스크라이브, 무엇이 다른가

보통은 받아쓰기·화자 분리·번역 모델을 따로 잇는다. 엔비디아는 음성 인코더에 맘바·트랜스포머 혼합 전문가(MoE) 언어 모델을 결합해 이 작업을 한 모델에 담았다. 사용자는 예상 언어를 지정하거나, 실제로 발화됐을 때만 쓰도록 전문 용어를 힌트로 넣는 식으로 결과를 조정한다.

블로그에 따르면 화자 구분은 13개 언어에서 지원하며 최대 8명까지 나눈다. 단어 단위 타임스탬프와 녹음 내용에 대한 질의응답도 제공하지만, 음성 질의응답은 영어로만 학습됐다.

음성 인식 성능 벤치마크 결과

엔비디아는 아티피셜 애널리시스 평가에서 활성 파라미터 약 40억 개로, 240억 개를 쓰는 모델과 공개 가중치 공동 1위를 했다고 밝혔다. 해외 매체 더디코더는 그 상대를 미스트랄의 Voxtral Small로 지목했고, 영어 리더보드에서 Qwen3-ASR-1.7B는 5.4%, IBM 그래니트 스피치는 5.68%였다고 전했다. 모두 엔비디아 발표와 외부 리더보드 수치이며 독립 검증 결과는 아니다.

속도 면에서는 RTX PRO 6000 블랙웰 서버 에디션 GPU 1장(NVFP4)으로 30초 단위 음성 100시간 분량을 3분 안에 처리했다고 회사는 설명했다.

맥락: 모델과 함께 데이터도 공개

그래너리 v2 데이터셋 카드에 따르면 규모는 약 46만3062시간, 48개 언어, 16개 원천 코퍼스다. 1차 공개 때는 유럽 25개 언어였다. 라벨은 OpenMDW-1.1로 풀렸지만 원음은 각 코퍼스 조건에 따라 따로 받아야 한다. 엔비디아는 이 데이터셋이 모델 학습 데이터 전체와 같지 않다고 밝혔다.

미세조정 효과도 공개했다. 에카케어(Eka Care) 의료 벤치마크 사례에서 처음 보는 화자의 WER이 22.44%에서 12.17%로 떨어졌고, GB300 1장으로 약 14 GPU시간이 들었다. 대신 일반 영어(LibriSpeech test-clean) WER은 1.54%에서 1.69%로 소폭 올랐다.

전망

가중치와 데모는 허깅페이스에 있고 베이스텐·딥인프라도 호스팅 엔드포인트를 제공한다. 모델 카드는 H100 80GB 1장을 기준 배포 환경으로 제시하고, 공개된 vLLM 연동은 엔비디아 최적화 NIM보다 약 2배 느릴 것이라고 적었다. 엔비디아는 이름·화자 전환·답변을 녹음과 대조해 "표본 점검하라"고 권고했다.

자주 묻는 질문

실시간 자막에 쓸 수 있나?

아니다. 녹음 파일(최대 1시간)용으로 설계됐고 실시간 스트리밍은 지원하지 않는다.

상업적으로 무료로 쓸 수 있나?

모델 카드는 OpenMDW-1.1 라이선스를 명시하고 상업·비상업 용도 모두 사용할 수 있다고 밝혔다.

참고 자료

• NVIDIA Nemotron 3.5 Transcribe and Granary v2: Intelligent Multilingual Transcription You Can Prompt and Adapt — 엔비디아, 허깅페이스 블로그(2026년 10월 28일)
• nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B — 허깅페이스 모델 카드
• nvidia/Granary-v2 — 허깅페이스 데이터셋 카드
• Nvidia's open Nemotron 3.5 Transcribe combines transcription, translation, and speaker recognition — 더디코더(2026년 10월 28일)