开发者发布纯 Rust Qwen GGUF 推理引擎 RustingStrata
2026/11/05 — 11/05 02:19·1 个来源（全部）·1 篇报道（全部）
核心速览 (Key Takeaways)
- 开发者发布纯 Rust 编写的 Qwen GGUF 推理引擎 RustingStrata，不依赖 ggml，CUDA kernel 在启动时用 NVRTC 编译，同一套 kernel 也可跑在 Vulkan 上。
- 它覆盖 Qwen3.5/3.6 到 Qwen3-Next-80B-A3B 的多款模型和 IQ1_S 至 Q8_0 量化，作者称可在 12GB 显卡上运行 Qwen3.8-Flash-Next。
事件背景与详细解读
2026 年 11 月 5 日 01:29，开发者在 Reddit 的 LocalLLaMA 版块发文，公布了一款名为 RustingStrata 的 Qwen GGUF 推理引擎。作者称该项目用纯 Rust 编写，不依赖 ggml；CUDA kernel 在启动时通过 NVRTC 编译，同一套 kernel 也可以跑在 Vulkan 上。
据作者介绍，引擎目前已覆盖多款 Qwen 模型：Qwen3.5/3.6 从 2B 到 35B-A3B，Qwen3 的 4B dense 与 30B-A3B，Qwen3.8-27B dense，Qwen3-Next-80B-A3B，以及 Qwen3.8-Flash-Next。量化支持范围从 IQ1_S 到 Q8_0，另外还有 BF16 和 F16。作者称其核心技巧面向那些无法完整装进显存（VRAM）的 MoE 模型；并在文中表示，在 12GB 显卡上运行 Qwen3.8-Flash-Next 时，RustingStrata 比原版 Strata 更快。目前这些说法均来自作者本人，材料中尚无第三方验证或其他跟进报道。
AI 综合 1 篇报道生成 · 更新于 1 天前
相关 AI 工具
- 热度指数
- 47
- 全部来源
- 1
- 全部报道
- 1
- 首报
- 1 天前
这件事的报道 点标题看原文
开发者发布纯 Rust 编写的 Qwen GGUF 推理引擎 RustingStrata，不依赖 ggml，CUDA kernel 在启动时用 NVRTC 编译，同一套 kernel 也能跑在 Vulkan 上。它覆盖 Qwen3.5/3.6 到 Qwen3-Next-80B-A3B 的多款模型和 IQ1_S 至 Q8_0 量化，作者称在 12GB 显卡上运行 Qwen3.8-Flash-Next 比原版 Strata 更快。
小显存跑 Qwen MoE 的读者可以关注这个新引擎
Reddit · LocalLLaMAAI 评分 54
同时在说的其他事
- 热度指数 44GPT-6 Astra 可直接改写 Qwen 权重提升数学成绩1 个来源
- 热度指数 59开发者深度实测 QoderCN 搭配 Qwen3.8-Flash 构建多场景应用1 个来源
- 热度指数 85新教程：用 Unsloth 在单卡上微调 Qwen3-VL-8B1 个来源
- 热度指数 94新Nanbeige4.3-33B 开源权重发布，智能指数追平 Qwen3.8 27B1 个来源
- 热度指数 91新单卡 RTX 5080 跑 Qwen3.8 Flash-Next 生成超 250 tok/s1 个来源
热度怎么算的？了解口径收起
热度按 48 小时内有多少个独立来源在说这件事算：同一个来源发多条只算一次，并按 24 小时半衰期衰减，所以排前面的是很多人在说的事。
本页汇总公开订阅源，标题与摘要由模型整理，版权归原作者所有；重要信息请回原文核对。如权利人认为相关标题或摘要侵权，请通过页尾联系邮箱提供具体页面与权利依据，我们核实后会及时删除或替换。
- 爆
- 讨论快速增加
- 新
- 首报 6 小时内
- 发酵中
- 讨论仍在增加