전력회사로부터 1MW를 더 받아낼 수 없는 사업자에게 남은 지렛대는 하나뿐이다. 이미 확보한 전력에서 팔 수 있는 결과물을 더 많이 뽑아내는 것이다. NVIDIA가 이번 주 AI Infra Summit 기조연설을 이 논리 위에 세웠고, 지렛대가 실제로 움직인다는 고객 사례 수치까지 들고나왔다. Lambda는 통상 16대분으로 잡는 전력 예산에 서버 19대를 집어넣었고, 그 대가로 클러스터의 초당 토큰 처리량을 24% 끌어올렸다.
핵심 요약
- Lambda는 DSX MaxLPS를 적용해 클러스터 전체 토큰 처리량을 초당 약 400만 개에서 500만 개로, 와트당 성능을 23% 높였다. Blackwell 서버에서 이 소프트웨어를 상용 환경으로 검증한 첫 사례다.
- NVIDIA는 Vera Rubin NVL72가 GB300 NVL72 대비 MW당 처리량 최대 30배, 100만 토큰당 비용 최대 45분의 1을 기록했다고 밝혔다. 단건 요청이 아니라 실제 에이전틱 코딩 세션을 재생해 측정한 값이다.
- Emerald AI와 진행한 별도 시연에서는 AI 시설이 지자체 전력회사가 보낸 수백 건의 실시간 수요 신호에 응답하면서도 우선순위 작업은 멈추지 않았다.
왜 잣대가 바뀌는가
반도체 공급이 병목이던 시절에는 최대 FLOPS가 구매 판단 기준으로 통했다. 하지만 발주서가 아니라 계통 연계 대기 순번이 돌릴 수 있는 연산량을 결정하는 건물에서는 이야기가 달라진다. NVIDIA의 하이퍼스케일·고성능컴퓨팅 담당 부사장 Ian Buck이 화요일 서밋 발표에서 제시한 논지는 분명하다. 검증된 에이전틱 토큰을 MW로 나눈 값이야말로 매출로 이어지는 숫자라는 것이다.
벤치마크 진영도 같은 방향으로 움직인다. SemiAnalysis는 실제 에이전틱 코딩 세션 녹화본을 토대로 AgentX를 만들었다. 프롬프트 하나의 응답 시간을 재는 대신 컨텍스트 증가, 툴 호출 지연, 서브 에이전트 생성까지 그대로 보존한다. NVIDIA에 따르면 이런 세션 하나의 토큰 사용량은 일반 챗봇 요청의 약 15배이며, 호출마다 입력과 출력 길이가 크게 출렁인다. 요청 단위 측정 도구로는 제대로 설명하기 어려운 워크로드다. NVIDIA가 AgentX를 MLPerf 추론 테스트의 대체재가 아니라 보완재로 규정하는 이유다.
이 잣대로 재면 DeepSeek V4 Pro를 구동한 Vera Rubin NVL72는 이전 세대 GB300 대비 MW당 처리량이 30배에 이른다고 NVIDIA가 공개한 AgentX 수치는 말한다. 100만 토큰당 비용은 최대 45분의 1로 떨어졌다. 두 수치 모두 평균이 아니라 상한값이다.
Lambda 사례가 보여주는 것
Lambda 사례에서 실제로 일한 요소는 DSX MaxLPS다. 랙마다 최악의 소비 전력을 기준으로 용량을 잡아두고 쓰지 않는 몫을 놀리는 대신, 이 소프트웨어는 GPU와 랙 전반의 소비량을 계속 추적해 남는 여유 전력을 필요한 작업으로 돌린다. 학습과 서빙은 전력 사용 패턴이 다르기 때문에, 두 작업이 섞인 인프라에서는 상당한 여유분이 그냥 잠들어 있다.
전력 총량을 그대로 두고 노드 3대를 더 돌린다는 건 소박해 보이지만 규모가 커질수록 누적된다. 게다가 변전소도, 배선 공사도, 인허가도 필요 없다. NVIDIA는 다음 세대에서 격차가 더 벌어진다고 본다. 동일한 MW 상한에서 Vera Rubin NVL72 사이트가 GPU 용량을 최대 40%, 토큰 처리량을 최대 35% 더 확보할 것으로 전망한다. 지연 시간이 관건인 에이전트 작업을 겨냥해��는 Vera Rubin과 Groq 3 LPX를 묶었고, 100K 컨텍스트 Qwen 3.8 27B 실행에서 사용자당 초당 2,529개의 출력 토큰을 기록했다고 밝혔다.
전력망이 아키텍처의 일부가 된다
가장 긴 여운을 남긴 시연은 정작 반도체와 거리가 멀었다. Emerald AI는 Silicon Valley Power의 유연 부하 계통연계 프로그램을 통해, 전력회사 신호 수백 건에 맞춰 시설이 자동으로 소비 전력을 줄이면서도 핵심 작업은 계속 돌리는 모습을 보여줬다. Emerald는 자사 전력 관리 제품 Conductor를 NVIDIA DSX Flex 위에 올릴 계획이다. DSX Flex는 부하 차단 요청과 수요 반응 이벤트, 요금 변동을 읽어 사업자가 미리 정해둔 우선순위 체계 안에서 대응한다.
이 실험의 의미는 기술만큼이나 규제에 걸쳐 있다. 전력회사는 데이터센터를 줄일 수 없는 고정 수요로 전제하고 계통 연계 용량을 배분한다. 요청이 오면 물러설 수 있다는 걸 입증한 시설은 대기 순번 앞에서 다른 논리를 꺼낼 수 있다. 이는 NVIDIA가 AI 팩토리 건설을 위해 끌어모아 온 자본과 나란히 가는 이야기이면서, 돈만으로는 풀리지 않는 제약을 겨냥한다.
수치를 어디까지 믿을 것인가
여기 나온 배수는 모두 벤더나 파트너가 스스로 고른 워크로드에서 측정한 값이고, 대표 비교는 현행 세대와 직전 세대를 맞붙인 것이다. 그중 무게를 실을 만한 예외는 Lambda다. 상용 클러스터에서 나온 수치인 데다 증가폭이 납득할 만한 수준이고, Blackwell을 돌리는 다른 사업자가 직접 확인해볼 수 있다. 30배와 45배라는 AgentX 주장도 공개 대시보드에 올라 있어 최소한 반박은 가능하다.
파트너 소식이 나머지를 채웠다. Amazon의 Annapurna Labs는 NVHBM 맞춤형 메모리를 공동 개발하고, d-Matrix는 NVLink Fusion으로 Raptor XPU를 Vera CPU에 연결한다. Pinterest는 대화형 비주얼 검색 뒤에 Blackwell과 Dynamo를 두고 있다. NVIDIA가 Vera Rubin을 본격 양산 단계라고 밝힌 만큼, 나머지를 가릴 독립적인 측정치도 머지않아 나올 것으로 보인다.
자주 묻는 질문
MW당 토큰이란 무엇인가?
칩 개수나 최대 FLOPS가 아니라 소비 전력으로 나눈 처리량이다. 자본이 아니라 전력 계통 연계가 확장의 한계를 정하는 환경에서는, 계약한 1MW가 얼마나 팔 수 있는 결과물을 만들어내는지를 알려준다. 하드웨어 사양보다 매출에 가까운 숫자다.
DSX MaxLPS는 Lambda 클러스터를 얼마나 개선했나?
Lambda는 보통 풀파워 16노드에 배정하는 전력 범위 안에서 19노드를 돌렸다. 클러스터 전체 토큰 처리량은 초당 약 400만 개에서 500만 개로 24% 안팎 올랐고, 와트당 성능은 23% 높아졌다. NVIDIA는 이를 Blackwell 서버에서 MaxLPS를 검증한 첫 사례라고 설명한다.
SemiAnalysis의 AgentX는 MLPerf와 어떻게 다른가?
다르다. AgentX는 툴 호출과 서브 에이전트 생성을 포함해 에이전트의 작업 흐름 전체를 재생한다. MLPerf Inference는 다양한 모델과 시나리오에서 요청 단위 성능을 측정한다. NVIDIA는 둘이 같은 하드웨어에 대해 서로 다른 질문에 답하는 만큼 보완 관계라고 본다.
