HaiAI123

全球AI工具精选导航

新行业动态
98
热度指数
新上榜

SGLang 0.5.23 发布 Paged Experts 功能以突破显存限制

2026/11/07 — 11/07 08:14·1 个来源(全部)·1 篇报道(全部)

核心速览 (Key Takeaways)

  • SGLang 0.5.23 版本正式推出了 Paged Experts 功能。
  • 该功能允许将 MoE 层的部分专家保留在 GPU 内存中,其余按需加载至主机内存,从而在小显存设备上高效运行超大模型。
updream
24 小时热度热度指数 98
刚上榜,走势正在积累
24 小时前现在

这件事的报道 点标题看原文

今天
  1. SGLang 0.5.23 版本正式推出了名为 Paged Experts 的可选功能,通过将 MoE 层的部分专家保留在 GPU 内存中,其余存放在固定的主机内存按需加载,使得在小显存设备上高效运行大型混合专家模型成为可能。

    为在消费级显卡上运行大体积 MoE 模型提供了可行的工程方案。

    DEV Community · AIAI 评分 68

同时在说的其他事

热度怎么算的?了解口径

热度按 48 小时内有多少个独立来源在说这件事算:同一个来源发多条只算一次,并按 24 小时半衰期衰减,所以排前面的是很多人在说的事。

本页汇总公开订阅源,标题与摘要由模型整理,版权归原作者所有;重要信息请回原文核对。如权利人认为相关标题或摘要侵权,请通过页尾联系邮箱提供具体页面与权利依据,我们核实后会及时删除或替换。

爆
讨论快速增加
新
首报 6 小时内
发酵中
讨论仍在增加

回 AI 行业动态榜 →