블록, 텍스트 없이 말 배운 음성 AI 데사 공개

잭 도시가 이끄는 핀테크 기업 블록(Block)이 10월 23일(현지시간) 텍스트 없이 사람의 말소리만으로 대화를 배운 음성 AI '데사(Dessa)'를 연구 프리뷰로 공개했다. 블록은 발표 페이지에서 데사가 텍스트나 사전학습 언어모델 없이 대화 음성만으로 처음부터 학습됐다고 밝혔다.

핵심 정리

• 데사는 듣고 말하기를 동시에 하는 전이중(full-duplex) 음성-음성 모델로, 받아쓰기 단계가 없다.
• 블록은 엔비디아 GB200 NVL72 한 대로 학습했고, M4 Max 이상 맥북 프로에서 로컬로 돌아간다고 밝혔다.
• 파라미터 수·벤치마크·가중치·가격은 비공개이며, AI 안전 연구자 일부가 먼저 써 본다.

블록 데사, 어떤 음성 AI인가

지금의 음성 비서는 대부분 말을 받아쓰고, 언어모델이 답을 쓰고, 합성기가 읽는 '이어달리기' 구조다. 블록은 이 과정에서 "텍스트로는 담을 수 없는 엄청난 정보가 버려진다"고 지적했다.

데사는 이 중간 단계를 건너뛴다. 블록에 따르면 데사는 감정·빈정거림·웃음·한숨을 알아듣고 표현하며, 상대가 말하는 도중 맞장구도 친다. 회사는 대형언어모델(LLM)보다 "수백 배 적은 단어"로 언어를 익혔다고 했지만 수치는 내놓지 않았다.

GB200 한 대로 학습, 맥북에서 실행

블록은 "엔비디아 GB200 NVL72 단 한 대로 데사를 학습시키는 방법을 찾았다"고 밝혔다. 실행은 M4 Max 칩 이상을 단 맥북 프로에서 실시간보다 빠르게 된다고 설명했다.

모두 회사 측 주장이다. 모델 크기, 학습 음성 분량, 응답 지연, 벤치마크 점수는 공개되지 않았고 외부 검증도 없다.

시연 녹음에는 OpenAI의 GPT-Live-1과 나눈 대화도 있다. 발표 페이지는 OpenAI가 블록과 무관하며 데사를 보증하지 않았다고 적었다. 미국 매체 더버지는 데사가 상대를 '호나우두'라고 잘못 부르거나 놀런 영화 이야기가 브라이언 싱어의 슈퍼맨 영화로 넘어간 장면을 짚었다.

전이중 음성 AI 비교: 모시·GPT-Live-1과 무엇이 다른가

큐타이는 모시 논문에서 모시를 "최초의 전이중 음성 대형언어모델"로 소개했지만, 모시는 2조1천억 토큰으로 사전학습한 텍스트 모델 Helium 위에 만들어졌다. OpenAI도 9월 전이중 음성 모델을 개발자에게 열었다(OpenAI, 말하면서 듣는 음성 모델 개발자에 개방).

배경: 목소리 복제에서 음성 연구소로

데사는 원래 캐나다 토론토의 머신러닝 스타트업 이름이다. 스퀘어 보도자료에 따르면 이 팀은 2020년 2월 스퀘어(현 블록)에 합류했고, 스퀘어는 딥페이크 탐지 기술을 강조했다. 미국 매체 악시오스에 따르면 이 스타트업은 2019년 5월 코미디언 조 로건의 목소리를 합성해 주목받았다.

연구소는 라가반 투라이랏남이 이끌며 잭 도시에게 직접 보고한다. 개발 이유로는 "호기심(재미), 인간과 AI 사이의 더 나은 이해, 그리고 안전" 세 가지를 들었다.

전망

블록은 공개 링크를 "곧" 내놓겠다고 했지만 날짜·가격·라이선스는 밝히지 않았다. 블록은 "소리만으로 말을 배운 모델은 새로운 영역이고, 외부의 시선이 필요하다"고 했다. 음성만으로 학습하는 방식의 경쟁력은 외부 검증에 달렸다.

자주 묻는 질문

블록 데사를 지금 써 볼 수 있나?

아직이다. 연구 프리뷰로 소수의 AI 안전 연구자에게 먼저 제공된다.

'음성만으로 학습했다'는 말은 무슨 뜻인가?

텍스트 데이터나 사전학습 언어모델 없이 사람의 대화 녹음만으로 처음부터 학습했다는 뜻이다. 큐타이의 모시는 텍스트 모델 위에 만들어졌다.

데사를 돌리려면 어떤 기기가 필요한가?

블록은 M4 Max 이상 맥북 프로에서 로컬로 실시간보다 빠르게 돌아간다고 밝혔다.

참고 자료

• Dessa — Block
• Moshi: a speech-text foundation model for real-time dialogue — Kyutai, arXiv
• Welcoming the Dessa Team to Square — Square(2020년 2월 7일)
• Joe Rogan finds his synthetic voice — Axios(2019년 5월)