오픈AI, 챗GPT 저장소 읽기 지연 120ms→10ms로 줄였다

오픈AI가 10월 23일(현지시간) 엔지니어링 블로그에서 챗GPT 등 자사 모든 제품이 쓰는 저장 플랫폼 '해비탯(Habitat)'의 전 세계 읽기 지연시간 중앙값(p50)을 약 120밀리초(ms)에서 약 10ms로 줄였다고 밝혔다. 회사는 같은 글에서 애저 코스모스 DB와 별도로 엑사바이트(EB)급 자체 저장 시스템을 개발 중이라고 공개했다.

글은 오픈AI 엔지니어 3명이 쓴 2부작의 두 번째 편이다. 해비탯은 40개 지역의 10억 명 넘는 이용자에게 500페타바이트(PB) 이상의 데이터를 제공한다.

핵심 정리

• 데이터 배치, 선별 복제, 밸키(Valkey) 캐시, 러스트 재작성으로 읽기 지연 중앙값을 약 120ms에서 약 10ms로 12배가량 낮췄다.
• 팀별 전용 컨테이너를 거쳐 다시 공유 컨테이너로 돌아갔고, 이후 '시끄러운 이웃' 장애가 없었다고 밝혔다.
• 록셋(Rockset)의 RocksDB 클라우드 코어와 Raft 복제를 결합한 EB급 자체 저장소를 개발하고 있다.

챗GPT 응답 속도 높인 4단계 방법

해비탯 요청의 90% 이상은 읽기다. 오픈AI는 용량이 허락하면 데이터를 이용자 가까이에 두는데, 주로 데이터 레지던시 대응용이다. 인증 메타데이터처럼 작고 지연에 민감한 데이터만 넓게 복제하며, 일부 계정은 서비스 중인 애저 40개 지역 전부에 복제한다.

나머지는 밸키 서버 기반 캐시를 거친다. 캐시 무효화는 코스모스 DB 변경 피드로 처리해 수 초 안에 전 세계에 반영된다. 여기에 서비스를 러스트로 다시 썼다. 저자들은 "이 변화들이 합쳐져 전체 글로벌 읽기 p50을 약 120ms에서 약 10ms로 줄였다"고 썼다.

공유 컨테이너로 되돌아간 이유

멀티테넌시 구조는 세 번 바뀌었다. 처음엔 팀들이 기본 컨테이너를 함께 쓰며 파티션 키를 정했는데, 사용자 ID 같은 키가 겹치고 다른 서비스의 부하가 무관한 데이터까지 영향을 줬다. 마이크로소프트 문서에 따르면 코스모스 DB는 파티션당 초당 1만 요청 단위(RU)로 제한된다.

팀별 전용 컨테이너로 바꾸자 과잉 할당과 출시일 확장 문제가 생겼고, 용량 계획 부담이 제품팀에 넘어갔다. 세 번째 단계에서 공유 컨테이너로 돌아가 핫키 제한, 오프라인 작업을 먼저 억제하는 등급별 QoS, 사용량 기반 파티션 분할을 더했다. 저자들은 "이후 몇 달 동안 제품 개발이 빨라졌는데도 프로비저닝이나 시끄러운 이웃 장애가 한 번도 없었다"고 밝혔다.

2024년 정전이 바꾼 애저와의 관계

2024년 말 오픈AI의 주 애저 지역에 정전이 발생했다. 최대 계정들의 장애 조치에는 몇 시간이 걸릴 상황이었다. 약 한 달 뒤 원래 지역으로 되돌리는 과정에서 연결이 한꺼번에 몰려 게이트웨이가 마비되면서 두 번째 대형 장애가 났다. 이후 두 회사는 공동 모니터링 체계를 갖췄다. 글은 "오픈AI 규모가 되면 관리형 서비스는 덜 '관리형'이 된다"고 적었다. 현재 최대 코스모스 DB 계정은 수십 PB를 저장하고 초당 2,000만 건 이상의 쿼리를 처리한다.

맥락

9월 11일 공개된 1부는 해비탯의 독립 서비스 전환과 러스트 재작성을 다뤘다. 오픈AI는 당시 러스트 서비스가 파이썬판보다 CPU 효율은 6배, 메모리 효율은 15배 높다고 밝혔다.

전망

오픈AI는 "부피가 큰 해비탯 데이터 유형에 최적화한 자체 EB급 온라인 저장 시스템"을 만들고 있다고 밝혔다. 2024년 6월 인수에 합의한 록셋의 RocksDB 클라우드 코어에 Raft 복제를 결합하고, 코스모스 DB와 같은 문서 모델을 쓴다. 출시 시점은 밝히지 않았고, 코스모스 DB를 대체한다는 언급도 없다.

자주 묻는 질문

오픈AI 해비탯은 무엇인가?
오픈AI 모든 제품이 쓰는 온라인 저장 플랫폼이다. 애저 코스모스 DB 위에 구축한 멀티테넌트 계층으로 캐싱, 권한 확인, 암호화, 라우팅을 맡는다.

오픈AI가 코스모스 DB를 떠나나?
글에는 그런 내용이 없다. 자체 시스템은 아직 개발 중이며 부피가 큰 데이터 유형을 겨냥한다.

참고 자료

• Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II) — OpenAI(2026년 10월 23일)
• Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part I) — OpenAI(2026년 9월 11일)
• Service Quotas and Default Limits - Azure Cosmos DB — Microsoft Learn
• OpenAI acquires Rockset to enhance ChatGPT real-time data processing — InfoWorld(2024년 6월 25일)