HaiAI123

全球AI工具精选导航

行业动态
持平

Google 在 MaxText 中实现 Streaming DiLoCo 跨数据中心训练

2026/11/21 — 11/21 15:17·1 个来源(全部)·1 篇报道(全部)

核心速览 (Key Takeaways)

  • Google DeepMind 与 Google Research 团队在开源 JAX 训练框架 MaxText 中实现了 Streaming DiLoCo,通过流式传输参数分片而非每步同步完整模型,把跨 TPU 切片通信量削减 60 倍以上。
  • 官方博客称该方案消除了 WAN 网络停顿,可在多数据中心间扩展训练且不损失收敛与模型质量。

事件背景与详细解读

2026 年 11 月 21 日 15:10,Google Developers Blog 发布消息称,Google DeepMind 与 Google Research 团队在开源 JAX 训练框架 MaxText 中实现了 Streaming DiLoCo,用于跨数据中心训练 LLM。

据该博客介绍,传统上训练先进的 Large Language Model(LLM)依赖单一整块加速器集群,所有设备共置一处,通过高带宽链路紧密耦合并持续同步梯度,但物理与成本限制使单一切片的扩展愈发困难。Streaming DiLoCo 的应对方式是以流式传输参数分片,而不再在每一步同步完整模型,由此把跨 TPU 切片的通信量削减 60 倍以上,并消除 WAN 网络停顿。官方称该方案可在多个数据中心之间扩展训练,且不会损失模型收敛与模型质量。目前公开材料仅披露这一实现与官方表述,暂无后续进展或第三方验证的记录。

AI 综合 1 篇报道生成 · 更新于 19 小时前

updream
24 小时热度热度指数 57 · 峰值 98 · 18 小时前
24 小时前现在

这件事的报道 点标题看原文

昨天
  1. Google DeepMind 与 Google Research 团队在开源 JAX 训练框架 MaxText 中实现了 Streaming DiLoCo,通过流式传输参数分片而非每步同步完整模型,把跨 TPU 切片通信量削减 60 倍以上。官方博客称该方案消除了 WAN 网络停顿,可在多数据中心间扩展训练且不损失收敛与模型质量。

    了解多数据中心分布式训练如何绕开 WAN 带宽瓶颈

    Google Developers Blog官方AI 评分 62

同时在说的其他事

热度怎么算的?了解口径

热度按 48 小时内有多少个独立来源在说这件事算:同一个来源发多条只算一次,并按 24 小时半衰期衰减,所以排前面的是很多人在说的事。

本页汇总公开订阅源,标题与摘要由模型整理,版权归原作者所有;重要信息请回原文核对。如权利人认为相关标题或摘要侵权,请通过页尾联系邮箱提供具体页面与权利依据,我们核实后会及时删除或替换。

爆
讨论快速增加
新
首报 6 小时内
发酵中
讨论仍在增加

回 AI 行业动态榜 →