메타가 10월 19일(현지시간) 엔지니어링 블로그에서 미국 오하이오주 뉴올버니에 지은 기가와트급 AI 슈퍼클러스터 '프로메테우스(Prometheus)'의 내부 구조를 상세히 공개했다. 1단계를 마친 이 클러스터는 현재 GPU 수십만 개 규모이며, 최종적으로 약 100만 개까지 늘린다는 목표다. 메타는 이곳에서 Muse Wonder를 비롯한 Muse 기반 모델 계열을 학습했다고 밝혔다.
핵심 정리
- 메타 프로메테우스는 1단계 완공 기준 GPU 수십만 개를 운영하며, 최종 규모는 약 100만 개를 목표로 한다.
- Muse Wonder 사전학습의 실효 처리율(goodput)은 85% 이상, 강화학습은 90% 이상을 기록했다.
- 2025년 중반 GPU 8,000개당 하루 1,000건에 가깝던 학습 중단 사건은 이후 99% 줄었다.
메타 프로메테우스 슈퍼클러스터는 어떤 곳인가
프로메테우스는 메타가 자사 프런티어 모델을 학습하려고 오하이오주 뉴올버니에 구축한 기가와트급 GPU 클러스터다. 메타 엔지니어링 블로그의 프로메테우스 해설 글에 따르면 이 부지는 원래 웹 트래픽을 처리하던 일반 데이터센터였다. 메타는 기존 건물, AI 전용으로 새로 지은 건물, 신속 배치형 구조물을 광섬유로 묶어 하나의 학습 클러스터로 만들었다.
건물마다 구성이 달라 냉각 방식도 섞여 있다. 외기 냉각 건물과 신속 배치형 구조물에는 모듈형 공랭 보조 액체냉각(AALC)을, 최신 AI 전용 건물에는 시설 단위 액체냉각을 썼다. 루이지애나주 리치랜드 패리시에 짓는 차기 슈퍼클러스터 '하이페리온(Hyperion)'은 처음부터 폐쇄형 액체냉각과 전력망 연계를 전제로 설계한다.
어떤 GPU 랙을 쓰나…GB200에서 Vera Rubin까지
프로메테우스의 주력 장비는 엔비디아 NVL72 계열 랙이다. 메타 블로그에 따르면 GB200 기반 'Catalina'는 두 랙에 Blackwell GPU 72개를 나눠 담았고 시스템 하나가 약 120kW를 쓴다. GB300 기반 'Clemente'는 72개 GPU를 한 랙에 넣었고 GPU당 HBM3e 메모리가 288GB로 GB200보다 50% 많다. 다음 세대인 Vera Rubin 기반 'San Miguel'은 랙당 170kW 이상을 쓰며 와트당 성능이 GB300보다 10~20% 높다고 메타는 설명했다.
GPU 간 통신은 별도의 이더넷 백엔드 네트워크가 맡는다. 건물 하나의 네트워크 패브릭은 GPU를 최대 20,736개까지 묶고, 건물과 건물은 최소 2km에서 100km 이상 떨어진 구간까지 백엔드 집선망으로 연결한다.
GPU 수십만 개를 멈추지 않게 하는 방법
메타가 이번 글에서 가장 길게 다룬 주제는 안정성이다. 메타에 따르면 학습 중단 사건은 2025년 중반 GPU 8,000개당 하루 1,000건 가까이 발생했지만 이후 99% 줄었다. 학습 실행의 평균 무중단 시간(MTBI)은 약 4만7,000 GPU시간에서 펌웨어 수정 뒤 5만4,000 GPU시간 이상으로 늘었고, 메타는 약 10만 GPU시간을 목표로 잡았다.
장애에 대비한 여유분도 설계에 넣었다. NVL72 랙 하나에서 GPU 64개만 학습에 쓰고 8개는 예비로 남기며, 랙 전체 고장에 대비해 약 2%의 예비 랙을 더 둔다. 그 결과 GPU 32,768개를 쓰는 학습 한 번에 랙 523개, GPU 37,656개가 필요하다. 동기화된 학습은 전력 부하를 30~40% 출렁이게 하므로, 메타는 작업을 멈추는 대신 GPU 전력 상한을 점진적으로 낮추는 'Dynamo Dimmer'로 대응한다.
AI 인프라 경쟁에서 갖는 의미
프로메테우스 공개는 Muse 모델 계열이 어떤 인프라 위에서 만들어졌는지를 메타가 직접 밝혔다는 점에서 의미가 있다. 메타는 최근 816B 규모 오픈웨이트 모델 Muse Spark Open을 내놓는 등 Muse 계열을 빠르게 넓히고 있다. 수십만 개 GPU를 한 작업에 묶을 때 장애가 학습 효율을 좌우한다는 점에서, 메타가 공개한 실효 처리율과 중단 빈도 수치는 다른 대형 클러스터 운영사에도 참고 지표가 된다.
전망
메타는 프로메테우스를 GPU 약 100만 개 규모로 키우는 동시에 Vera Rubin 기반 랙을 들일 계획이다. 다만 메타는 이번 글에서 클러스터의 정확한 전력 용량이나 100만 개 도달 시점은 밝히지 않았다. 하이페리온의 규모와 일정 역시 이번 글에는 담기지 않았다.
자주 묻는 질문
메타 프로메테우스는 어디에 있나?
프로메테우스는 미국 오하이오주 뉴올버니에 있는 메타의 기가와트급 AI 슈퍼클러스터다. 기존 웹 서비스용 데이터센터 부지를 AI 학습용으로 확장해 만들었다.
프로메테우스에는 GPU가 몇 개 들어가나?
메타에 따르면 1단계를 마친 현재 GPU 수십만 개가 가동 중이다. 최종 목표는 약 100만 개이며, 달성 시점은 공개하지 않았다.
프로메테우스에서 학습한 모델은 무엇인가?
메타는 Muse Wonder를 포함한 Muse 기반 모델 계열을 프로메테우스에서 학습했다고 밝혔다. Muse Wonder 사전학습의 실효 처리율은 85% 이상, 강화학습 단계는 90% 이상이었다.
