オープンAI、ChatGPTの読み出し遅延を120ミリ秒から10ミリ秒に短縮

オープンAIは10月23日（現地時間）、エンジニアリングブログで、ChatGPTなど全製品が使うストレージ基盤「Habitat（ハビタット）」の世界全体の読み出し遅延の中央値（p50）を約120ミリ秒から約10ミリ秒に短縮したと明らかにした。同じ記事で、Azure Cosmos DBとは別にエクサバイト級の自社ストレージシステムを開発中であることも公表した。

記事は同社エンジニア3人による2部構成の後編である。Habitatは40の地域で10億人を超える利用者に、500ペタバイト以上のデータを提供している。

ポイント

• データ配置、選択的な複製、Valkeyキャッシュ、Rustでの書き直しにより、読み出し遅延の中央値を約120ミリ秒から約10ミリ秒へ約12分の1に縮めた。
• チームごとの専用コンテナを経て共有コンテナに戻し、その後「ノイジーネイバー」による障害は起きていないという。
• Rockset（ロックセット）のRocksDB CloudコアとRaft方式の複製を組み合わせた、エクサバイト級の自社ストレージを開発している。

ChatGPTの読み出しを10ミリ秒にした4つの手法

Habitatへのリクエストの9割以上は読み出しだ。容量に余裕があればデータを利用者の近くに置くが、これは主にデータレジデンシー（保存場所の規制）への対応である。認証メタデータのような小さく遅延に敏感なデータだけを広く複製し、一部のアカウントはサービスを提供するAzureの全40リージョンに複製している。

それ以外のデータはValkeyサーバーを使ったキャッシュを経由する。キャッシュの無効化はCosmos DBの変更フィードで行い、数秒以内に世界中へ反映される。さらにサービス本体をRustで書き直した。執筆者らは「これらの変更を合わせ、世界全体の読み出しp50を約120ミリ秒から約10ミリ秒に短縮した」と記している。

共有コンテナに戻った理由

マルチテナント構成は3度変わった。当初は各チームが既定のコンテナを共用し、パーティションキーを自ら決めていたため、ユーザーIDのようなキーが衝突し、無関係なデータにまで負荷の影響が及んだ。マイクロソフトの文書によると、Cosmos DBはパーティションあたり毎秒1万リクエストユニット（RU）が上限である。

チーム専用コンテナに切り替えると、過剰な割り当てや製品公開日のスケーリング問題が生じ、容量計画の負担が製品チームに移った。第3段階で共有コンテナに戻し、ホットキーの制限、オフライン処理を先に抑える階層型QoS、使用量に基づくパーティション分割を加えた。執筆者らは「製品開発が加速しているにもかかわらず、その後の数カ月間、プロビジョニングやノイジーネイバーによる障害は一度も起きていない」としている。

2024年の停電が変えたAzureとの関係

2024年後半、オープンAIの主要Azureリージョンで停電が起きた。最大級のアカウントのフェイルオーバーには数時間かかる状況だった。約1カ月後、元のリージョンへ戻す際に接続が殺到してゲートウェイが処理しきれなくなり、2度目の大規模障害が発生した。その後、両社は共同の監視体制を整えた。記事は「オープンAIの規模になると、マネージドサービスは『マネージド』ではなくなっていく」と述べる。現在、最大のCosmos DBアカウントは数十ペタバイトを保存し、毎秒2000万件以上のクエリを処理している。

背景

9月11日に公開された前編は、Habitatの独立サービス化とRustへの書き直しを扱った。同社は当時、Rust版はPython版に比べCPU効率が6倍、メモリー効率が15倍高いと説明していた。

今後の見通し

オープンAIは「かさばるHabitatのデータ種別に最適化した、自社開発のエクサバイト級オンラインストレージシステム」を構築中だとした。2024年6月に買収で合意したRocksetのRocksDB CloudコアにRaft方式の複製を組み合わせ、Cosmos DBと同じドキュメントモデルを採用する。公開時期は示しておらず、Cosmos DBを置き換えるとの言及もない。

よくある質問

オープンAIのHabitatとは何か。
オープンAIの全製品が使うオンラインストレージ基盤である。Azure Cosmos DB上に構築したマルチテナント層で、キャッシュ、認可、暗号化、ルーティングなどを担う。

オープンAIはCosmos DBから離れるのか。
記事にそうした記述はない。自社システムはまだ開発中で、かさばるデータ種別を対象としている。

参考資料

• Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II) — OpenAI（2026年10月23日）
• Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part I) — OpenAI（2026年9月11日）
• Service Quotas and Default Limits - Azure Cosmos DB — Microsoft Learn
• OpenAI acquires Rockset to enhance ChatGPT real-time data processing — InfoWorld（2024年6月25日）