Google 在 MaxText 中实现 Streaming DiLoCo 跨数据中心训练
2026/11/21 — 11/21 15:17·1 个来源(全部)·1 篇报道(全部)
核心速览 (Key Takeaways)
- Google DeepMind 与 Google Research 团队在开源 JAX 训练框架 MaxText 中实现了 Streaming DiLoCo,通过流式传输参数分片而非每步同步完整模型,把跨 TPU 切片通信量削减 60 倍以上。
- 官方博客称该方案消除了 WAN 网络停顿,可在多数据中心间扩展训练且不损失收敛与模型质量。
事件背景与详细解读
2026 年 11 月 21 日 15:10,Google Developers Blog 发布消息称,Google DeepMind 与 Google Research 团队在开源 JAX 训练框架 MaxText 中实现了 Streaming DiLoCo,用于跨数据中心训练 LLM。
据该博客介绍,传统上训练先进的 Large Language Model(LLM)依赖单一整块加速器集群,所有设备共置一处,通过高带宽链路紧密耦合并持续同步梯度,但物理与成本限制使单一切片的扩展愈发困难。Streaming DiLoCo 的应对方式是以流式传输参数分片,而不再在每一步同步完整模型,由此把跨 TPU 切片的通信量削减 60 倍以上,并消除 WAN 网络停顿。官方称该方案可在多个数据中心之间扩展训练,且不会损失模型收敛与模型质量。目前公开材料仅披露这一实现与官方表述,暂无后续进展或第三方验证的记录。
AI 综合 1 篇报道生成 · 更新于 19 小时前
- 热度指数
- 57
- 全部来源
- 1
- 全部报道
- 1
- 首报
- 20 小时前
这件事的报道 点标题看原文
Google DeepMind 与 Google Research 团队在开源 JAX 训练框架 MaxText 中实现了 Streaming DiLoCo,通过流式传输参数分片而非每步同步完整模型,把跨 TPU 切片通信量削减 60 倍以上。官方博客称该方案消除了 WAN 网络停顿,可在多数据中心间扩展训练且不损失收敛与模型质量。
了解多数据中心分布式训练如何绕开 WAN 带宽瓶颈
Google Developers Blog官方AI 评分 62
同时在说的其他事
- 热度指数 1143发酵中Anthropic 上市首周市值达 1.6 万亿美元,IPO 募资 935 亿美元21 个来源
- 热度指数 1011Anthropic 数学家称与 Claude 完成广义黎曼猜想形式化21 个来源
- 热度指数 622Anthropic 行使超额配售权,IPO 募资达 935 亿美元20 个来源
- 热度指数 596发酵中Thinking Machines Lab 开源 Inkling 2 Mini,模型卡推荐 32GB 内存10 个来源
- 热度指数 490发酵中SEC 调查英伟达会计问题,股价连跌市值缩水9 个来源
热度怎么算的?了解口径收起
热度按 48 小时内有多少个独立来源在说这件事算:同一个来源发多条只算一次,并按 24 小时半衰期衰减,所以排前面的是很多人在说的事。
本页汇总公开订阅源,标题与摘要由模型整理,版权归原作者所有;重要信息请回原文核对。如权利人认为相关标题或摘要侵权,请通过页尾联系邮箱提供具体页面与权利依据,我们核实后会及时删除或替换。
- 爆
- 讨论快速增加
- 新
- 首报 6 小时内
- 发酵中
- 讨论仍在增加

