Mercury 2.5, 초당 1,107토큰에 100만 토큰당 4센트로 나왔다

Inception Labs가 Mercury 2.5로 내건 승부수는 조금 다르다. 더 똑똑한 모델이 아니라, 사용자 한 번의 상호작용 안에서 수십 번 불러도 될 만큼 빠르고 싼 모델이다. 이 스타트업은 지금까지 학습된 디퓨전 언어 모델 가운데 가장 크다고 밝혔고, 시중에서 구할 수 있는 NVIDIA GPU에서 초당 1,107토큰을 찍는다고 설명했다. 정가는 입력 100만 토큰당 0.20달러, 출력 0.75달러이며 출시 시점에는 80% 할인해 각각 0.04달러와 0.15달러에 제공한다.

핵심 요약

• Mercury 2.5는 저지연·저비용 서빙 구조를 그대로 유지하면서 Mercury 2 대비 지능이 40% 향상됐다고 주장한다.
• Inception은 최상위 추론 모델이 아니라 GPT-5.6 Luna(Low), Gemini 3.5 Flash-Lite, Claude Haiku 4.5 같은 비용 최적화 등급을 품질 비교 대상으로 삼았다.
• Augment Code는 컨텍스트 압축 작업을 Mercury로 옮겨 지연 시간을 약 150초에서 27초로 82% 줄이고 비용도 90% 낮췄다고 밝혔다.

디퓨전 LLM이 지연 시간으로 승부하는 이유

기존 대형 언어 모델은 토큰을 하나씩 순서대로 내놓는다. 말이 길어질수록 걸리는 시간도 함께 늘어난다. 디퓨전 모델은 대신 텍스트 블록 전체를 병렬로 여러 번 다듬는다. Inception Labs가 전용 추론 칩이 아닌 범용 가속기에서 네 자릿수 처리량을 말할 수 있는 근거가 이 구조 차이다.

회사는 Mercury 2.5를 벤치마크 경쟁의 산물이 아니라 피드백 루프의 첫 결과물로 설명한다. Mercury 2 출시 이후 수천 명의 개발자와 수십 건의 기업 도입을 거치며 사용량이 10배 넘게 늘었고, 그 과정에서 드러난 실제 운영 환경의 실패 사례를 중심으로 평가 체계를 다시 짠 뒤 학습에 들어갔다는 것이다.

고객은 어디에 쓰고 있나

검색을 보면 호출당 지연이 왜 누적되는지 드러난다. 질의 하나가 계획 수립, 질의 재작성, 재순위화, 사실 구조화, 요약, 답변 검증으로 갈라지며 수십 번의 모델 호출로 번진다. 사용자가 멈칫함을 느끼기 전에 이 사슬 전체가 끝나야 한다. Inception이 주요 검색 인프라 기업 여러 곳이 Mercury를 운영 환경에 올렸다고 말하는 이유다.

음성 에이전트는 조건이 더 빡빡하다. 통화에서 지연은 침묵으로 곧장 들린다. 실시간 고객 응대용 AI 전화 에이전트를 만드는 OpenCall은 운영 환경에서 모델 응답 지연 중앙값을 170밀리초 수준으로 측정한다. 공동창업자이자 CEO인 Oliver Silverstein은 전환 이후 P99가 수 분에서 1초로, P50은 0.4초에서 0.2초 아래로 떨어졌다고 전했다.

지금까지 본 어떤 공급사보다 확실히 빠르다. 추론 모델까지 포함해서 그렇다.

코딩 에이전트가 세 번째 유형이고, 발표에서 가장 구체적인 숫자가 여기서 나왔다. Augment Code는 컨텍스트 압축을 Mercury로 옮긴 뒤 소요 시간이 약 150초에서 27초로 82% 줄었고, 품질은 그대로인데 비용은 90% 낮아졌다고 밝혔다. MCP 도구 검색 요약은 1초 안에 돌아온다.

지연 하한선을 겨냥한 두 가지 프리뷰

본 제품과 함께 공개된 Mercury Voice는 음성 대화에서 가장 빡빡한 시간 예산에 맞춘 dLLM으로, 첫 토큰까지 걸리는 시간이 170밀리초 미만이다. 또 다른 프리뷰인 Mercury Router는 디퓨전 모델로 들어오는 프롬프트를 읽고 품질·속도·비용을 따져 오픈·클로즈드를 가리지 않고 하위 모델을 고른다.

NVIDIA 가속 컴퓨팅 그룹의 시니어 프로덕트 매니저 Shruti Koparkar는 이번 발표를 두고 새로운 아키텍처가 기존 AI 인프라 위에서 얼마나 빠르게 상용 수준으로 굳어질 수 있는지 보여주는 사례라고 평가했다. 실질적인 주장이 바로 여기에 있다. 텍스트 디퓨전은 수년간 연구실의 호기심에 머물렀고, 속도 숫자만으로 구매자가 움직인 적도 없었다. OpenAI의 초고속 등급도 비슷한 도약을 위해 Cerebras 칩에 기댔다. Inception은 그 이득이 하드웨어가 아니라 아키텍처에서 나온다고 말한다.

제공 방식과 다음 단계

Mercury 2.5는 Inception API, Baseten, OpenRouter를 통해 제공되며 신규 API 사용자에게 1억 토큰을 무료로 준다. 기업용 옵션에는 전용 용량, 오토스케일링, 컴플라이언스 제어, 데이터 보존 기간 설정이 들어간다. 조절 가능한 추론, 병렬 도구 호출, 스키마에 맞춘 JSON도 함께 지원한다. 마지막 항목은 구조화 출력에 의존하는 에이전트 파이프라인에 중요하다.

후속 모델은 이미 학습 중이다. Inception은 자사 최대 규모 모델이라고 설명하며 몇 달 안에 공개할 계획이라고 밝혔다. 목표는 디퓨전의 속도와 토큰 효율을 포기하지 않는 성능 도약이다.

자주 묻는 질문

Mercury 2.5의 가격은 얼마인가

정가는 입력 100만 토큰당 0.20달러, 출력 100만 토큰당 0.75달러다. 출시 시점에는 80% 할인해 입력 0.04달러, 출력 0.15달러를 적용한다. 신규 API 사용자는 1억 토큰을 무료로 받는다.

Mercury 2.5는 오픈소스인가

아니다. Mercury 2.5는 Inception API와 Baseten, OpenRouter로 제공되는 독점 호스팅 모델이다. 기업 고객은 전용 용량과 데이터 보존 설정을 받을 수 있지만 가중치는 공개하지 않는다.

디퓨전 LLM이란 무엇인가

디퓨전 언어 모델은 토큰을 왼쪽에서 오른쪽으로 예측하는 대신, 토큰 블록을 병렬로 반복해서 다듬으며 텍스트를 만든다. 익숙한 아키텍처를 처리량과 맞바꾼 셈이며, 음성 에이전트나 검색 파이프라인, 에이전트 구조처럼 지연에 민감한 작업을 겨냥한다.