輝達詳解記憶體全棧協同設計及 Agent 吞吐量成本最佳化策略

美東時間 2026 年 11 月 5 日（週四），輝達釋出公司部落格文章，詳解其 AI 記憶體全棧協同設計策略。文章指出，隨著大模型引數規模、上下文長度和 Agent 應用持續擴張，AI 基礎設施的記憶體壓力正在加劇，單純增加 GPU 記憶體容量已不足以解決問題。

輝達提出，通過協同設計 GPU、CPU、網路、儲存和軟體，並結合模型權重量化、KV Cache 壓縮與分層儲存、檢索資料最佳化等技術，可以提高整個 AI 基礎設施的記憶體利用效率。該策略的核心是把 AI 工廠的記憶體和儲存視為一個整體的資料層級，而不是一味追求將更多資料塞進速度最快、成本最高的 GPU 記憶體，從而以更低的單位成本處理更多 AI 任務。

公司在文章中披露，從 Blackwell Ultra 到 Vera Rubin 平臺，單顆 GPU 的 HBM 容量僅增加約 3%，但在特定 Agent 工作負載下，每美元可實現的吞吐量最高可提升 30 倍。輝達稱，將全部資料塞進最高速、最昂貴的 GPU 記憶體並非正確做法。

值得注意的是，在這篇技術文章釋出當天，輝達股票遭猛烈拋售。週四盤中股價一度跌超 9%，抹平今年內累計漲幅並轉跌，市值較 10 月創下的最高紀錄蒸發近 1.4 萬億美元。目前事件停留在當日股價大幅下挫與市場議論階段，尚無進一步的公司回應。