英伟达详解内存全栈协同设计及 Agent 吞吐量成本优化策略

美东时间 2026 年 11 月 5 日（周四），英伟达发布公司博客文章，详解其 AI 内存全栈协同设计策略。文章指出，随着大模型参数规模、上下文长度和 Agent 应用持续扩张，AI 基础设施的内存压力正在加剧，单纯增加 GPU 内存容量已不足以解决问题。

英伟达提出，通过协同设计 GPU、CPU、网络、存储和软件，并结合模型权重量化、KV Cache 压缩与分层存储、检索数据优化等技术，可以提高整个 AI 基础设施的内存利用效率。该策略的核心是把 AI 工厂的内存和存储视为一个整体的数据层级，而不是一味追求将更多数据塞进速度最快、成本最高的 GPU 内存，从而以更低的单位成本处理更多 AI 任务。

公司在文章中披露，从 Blackwell Ultra 到 Vera Rubin 平台，单颗 GPU 的 HBM 容量仅增加约 3%，但在特定 Agent 工作负载下，每美元可实现的吞吐量最高可提升 30 倍。英伟达称，将全部数据塞进最高速、最昂贵的 GPU 内存并非正确做法。

值得注意的是，在这篇技术文章发布当天，英伟达股票遭猛烈抛售。周四盘中股价一度跌超 9%，抹平今年内累计涨幅并转跌，市值较 10 月创下的最高纪录蒸发近 1.4 万亿美元。目前事件停留在当日股价大幅下挫与市场议论阶段，尚无进一步的公司回应。