capy-flash v0.7.1 让 125B MoE 跑在 64GB 内存
2026/10/22 — 10/22 22:19·1 个来源（全部）·1 篇报道（全部）
核心速览 (Key Takeaways)
- 开发者发布开源推理引擎 capy-flash v0.7.1，可在 64GB 内存加一到两张 16GB 消费级显卡上运行 Qwen3.8-Flash-Next（125B MoE），双卡约 234 tok/s。
- Qwen3.8-27B 的 3-bit 版本可单张 16GB 卡运行、约 174 tok/s，量化权重沿用 ISTA-DASLab 的 GSQ-RCO 方案，未重新量化。
事件背景与详细解读
2026 年 10 月 22 日，开发者在 Reddit 的 LocalLLaMA 板块发布开源推理引擎 capy-flash v0.7.1，称其可在 64GB 内存搭配一到两张 16GB 消费级 RTX 50 显卡的环境下运行 Qwen3.8-Flash-Next（125B MoE）。据该帖说明，此前运行这一模型需要双卡 16GB 加 96GB 内存或更高的配置，v0.7 系列则面向更小的机器，用户可以从现有硬件起步、之后再增加第二张显卡，引擎与模型文件保持不变。
性能方面，帖子给出的数字是双卡下约 234 tok/s；Qwen3.8-27B 的 3-bit 版本可单张 16GB 显卡运行，约 174 tok/s。量化权重沿用 ISTA-DASLab 的 GSQ-RCO 约 3-bit 方案，按原样复制、未重新量化。目前信息仅来自这一篇发布帖，后续进展尚未见报道。
AI 综合 1 篇报道生成 · 更新于 14 小时前
最新进展开发者发布开源推理引擎 capy-flash v0.7.1，可在 64GB 内存加一到两张 16GB 消费级显卡上运行 Qwen3.8-Flash-Next（125B MoE），双卡下约 234 tok/s。Qwen3.8-27B 的 3-bit 版本可单张 16GB 卡运行，约 174 tok/s。量化权重沿用 ISTA-DASLab 的 GSQ-RCO 约 3-bit 方案，未重新量化。
相关 AI 工具
- 热度指数
- 66
- 全部来源
- 1
- 全部报道
- 1
- 首报
- 15 小时前
这件事的报道 点标题看原文
开发者发布开源推理引擎 capy-flash v0.7.1，可在 64GB 内存加一到两张 16GB 消费级显卡上运行 Qwen3.8-Flash-Next（125B MoE），双卡下约 234 tok/s。Qwen3.8-27B 的 3-bit 版本可单张 16GB 卡运行，约 174 tok/s。量化权重沿用 ISTA-DASLab 的 GSQ-RCO 约 3-bit 方案，未重新量化。
想在消费级显卡上跑大 MoE 的可参考这套配置。
Reddit · LocalLLaMAAI 评分 59
同时在说的其他事
- 热度指数 29开发者六路评测 Qwen3.8-Flash-Next 与 Opus 5.5 的 Rust 编码表现1 个来源
- 热度指数 151爆千问发布 AI 眼镜 N1 Pro 与 AI 耳机并同日开售2 个来源
- 热度指数 80Reddit 网友对比 11 个开放权重模型的得分与参数量1 个来源
- 热度指数 79Qwen API 各模型每百万 token 价格对比清单1 个来源
- 热度指数 42用户实测 Qwen3.5-4B 在 10 种 Agent 框架下的失败模式1 个来源
热度怎么算的？了解口径收起
热度按 48 小时内有多少个独立来源在说这件事算：同一个来源发多条只算一次，并按 24 小时半衰期衰减，所以排前面的是很多人在说的事。
本页汇总公开订阅源，标题与摘要由模型整理，版权归原作者所有；重要信息请回原文核对。如权利人认为相关标题或摘要侵权，请通过页尾联系邮箱提供具体页面与权利依据，我们核实后会及时删除或替换。
- 爆
- 讨论快速增加
- 新
- 首报 6 小时内
- 发酵中
- 讨论仍在增加