AI Newsway

Perplexity讓數百個代理寫資料庫,部署權限仍握在人手上

CobbleDB把批次讀取延遲中位數從31.4毫秒壓到5.6毫秒,預估每年可省下最多1億美元。這套系統由兩名工程師指揮一群程式代理,在兩個月內完成

|4分鐘閱讀0
A production data center floor, the kind of read-serving infrastructure Perplexity moved off DynamoDB and onto its own CobbleDB store.
A production data center floor, the kind of read-serving infrastructure Perplexity moved off DynamoDB and onto its own CobbleDB store.

Perplexity已把Amazon DynamoDB移出供應搜尋產品網頁內容的讀取路徑,改用自家的鍵值儲存系統CobbleDB,規模約4萬行Rust程式碼。根據該公司公開的CobbleDB研究資料,兩名工程師指揮數百個持續運作、不間斷的程式代理,在大約兩個月內完成建置。這些代理沒有任何一個被允許核准正式環境的部署。

重點摘要

  • 批次讀取延遲中位數由DynamoDB的31.4毫秒降到CobbleDB的5.60毫秒,改善幅度約82%;第99百分位延遲也從123毫秒降到24.2毫秒。
  • 兩名工程師在約兩個月內指揮數百個程式代理,架構決策、程式碼審查與正式環境授權全數留在人手上。
  • Perplexity執行長Aravind Srinivas表示,脫離DynamoDB每年最多可為公司省下1億美元;內部推估在大規模運作下,儲存層成本會比DynamoDB低超過20%。

Perplexity為何離開DynamoDB

導火線是價格與掌控權。Perplexity判斷自己在DynamoDB上付出過高,卻仍拿不到想要的讀取效能調校空間。對一個每產出一則回答就得同時取回大量既有文件的產品來說,這個限制相當沉重。

DynamoDB的計價主要看搬動的位元組量,這種模式較貼合交易型的工作負載,卻難以配合回答引擎那種大範圍、以讀取為主的展開模式。Perplexity的論點是,依自家存取形態量身打造的儲存系統,能在成本與效能兩條軸線上同時勝過通用的託管服務。

這套系統怎麼組起來

Perplexity沒有做成單一巨塊,而是把工作拆成三個可各自調校的元件。Pillar負責文件的持久性,並在記錄變動時追蹤版本。Lorry把湧入的更新集結成批次,再送進系統。CobbleDB本身位於服務層,專責查詢當下的低延遲讀取。

底層方面,CobbleDB把實際的資料交易交給RocksDB處理。團隊在這個地基之上疊了可調整的分區與快取策略,目標是在尖峰負載下維持效能。公開數據顯示,改善並非只集中在中位數,而是貫穿整個分布:第90百分位延遲由56.7毫秒降到9.77毫秒。

代理被允許做什麼、不被允許做什麼

業界會爭論的是人力配置這一段。Perplexity形容這次建置是兩名工程師,加上數百個主動、不間斷的AI代理,這些代理跨工作階段提供持續的檢查與後續推進。Srinivas在X上把成果描述為兩名工程師與數百個常駐代理在兩個月內做出的DynamoDB替代品。影響範圍大的決定仍由人保留。

這條界線是刻意劃下的治理設計,而非技術限制。代理負責產出與修改程式碼,工程師則掌管架構、審查進入程式庫的內容,並握有把任何東西推到線上流量前的權限。撰寫基礎設施與營運基礎設施,被當成兩種不同的權限。

與OpenAI的Rust重寫如何對照

這個輪廓看來眼熟。幾天前,OpenAI才說明兩名工程師與Codex把支撐所有ChatGPT資料讀取的服務以Rust重寫。兩家實驗室各自走到同一種模式,也就是極小的人類團隊、龐大的代理群、Rust,以及儲存層的熱路徑,顯示這正在從個案變成一種範本。

Perplexity放棄了什麼

CobbleDB並不是DynamoDB的功能複製品。它不支援強一致性,也不支援複雜交易,而這兩項都是託管服務的預設配備。對於把快取的網頁文件餵給搜尋索引來說,這是划算的取捨;對於需要交易保證的系統而言,則是直接出局的條件。

Perplexity承諾,待系統在每秒數十萬次請求的規模完成正式環境驗證後,就會把CobbleDB開源,但尚未給出釋出日期。在程式碼公開之前,延遲與成本數字都仰賴該公司自行量測的結果。

常見問題

CobbleDB開源了嗎

還沒有。Perplexity表示,等系統在每秒數十萬次請求的規模上於正式環境證明自身之後,就打算把CobbleDB開源,但尚未公布釋出日期。

CobbleDB完全取代了DynamoDB嗎

它取代的是Perplexity搜尋堆疊中供應網頁內容的讀取服務層,而不是DynamoDB的所有用途。CobbleDB缺少強一致性與複雜交易支援,因此需要這些保證的工作負載並不適用。

程式碼中AI代理實際寫了多少

Perplexity沒有公布這約4萬行Rust程式碼的逐行拆解。該公司把兩個月間大部分的實作工作歸功於數百個常駐程式代理,而架構、審查與部署權限則由兩名工程師掌握。

對這篇文章有什麼感想?

SJ
載入中...

相關文章

AI智慧體向RubyGems傾瀉2000多個包,新使用者註冊被關閉四天
Developer Tools

AI智慧體向RubyGems傾瀉2000多個包,新使用者註冊被關閉四天

一份取證報告還原了5月的GemStuffer行動:AI智慧體推送兩千多個gem,迫使RubyGems凍結新使用者註冊四天。

Seung Jung5 天前
LLM修復程式碼時弄壞可用程式碼的次數,是真正修好次數的十倍
Developer Tools

LLM修復程式碼時弄壞可用程式碼的次數,是真正修好次數的十倍

一項arXiv研究測得LLM修復迴圈破壞正確程式的比率為0.261,修復缺陷程式的比率僅0.023,並找到了驅動這一行為的內部方向。

Seung Jung4 天前
GitHub的HydraFusion不再挑模型,而是搭一條工作流
Developer Tools

GitHub的HydraFusion不再挑模型,而是搭一條工作流

GitHub的Project HydraFusion為每個Copilot程式設計請求組裝多模型執行計劃,以單模型的簡潔為代價,換來大幅更低的成本。

Seung Jung4 天前
OpenAI向開發者開放全雙工語音模型,每分鐘5美分
Developer Tools

OpenAI向開發者開放全雙工語音模型,每分鐘5美分

OpenAI的全雙工語音模型GPT-Live-1已通過API開放,每分鐘0.05美元,在Tau3基準上取得86.2%,遠高於前代的45.7%。

Seung Jung6 天前
Meta 透過 MCP 把 WhatsApp Business 設定交給 Claude 與 Codex
Developer Tools

Meta 透過 MCP 把 WhatsApp Business 設定交給 Claude 與 Codex

Meta 將 WhatsApp Business 帳號設定開放給 AI 程式撰寫代理,新推出的 WhatsApp Business Tools MCP 伺服器讓 Claude Code 與 Codex 從註冊電話號碼一路處理到範本與 Webhook 設定。

Seung Jung昨天
Meta 開源 Astryx:一套可供智慧體直接查詢的 React 設計系統
Developer Tools

Meta 開源 Astryx:一套可供智慧體直接查詢的 React 設計系統

Meta 於 6 月以 MIT 許可證釋出了 Astryx 公測版,這套 React 設計系統已在公司內部單一程式碼庫中打磨了八年。

Seung Jung3 天前