開發者釋出純 Rust Qwen GGUF 推理引擎 RustingStrata
2026/11/05 — 11/05 02:19·1 個來源（全部）·1 篇報道（全部）
核心速覽 (Key Takeaways)
- 開發者釋出純 Rust 編寫的 Qwen GGUF 推理引擎 RustingStrata，不依賴 ggml，CUDA kernel 在啟動時用 NVRTC 編譯，同一套 kernel 也可跑在 Vulkan 上。
- 它覆蓋 Qwen3.5/3.6 到 Qwen3-Next-80B-A3B 的多款模型和 IQ1_S 至 Q8_0 量化，作者稱可在 12GB 顯示卡上執行 Qwen3.8-Flash-Next。
事件背景與詳細解讀
2026 年 11 月 5 日 01:29，開發者在 Reddit 的 LocalLLaMA 版塊發文，公佈了一款名為 RustingStrata 的 Qwen GGUF 推理引擎。作者稱該專案用純 Rust 編寫，不依賴 ggml；CUDA kernel 在啟動時通過 NVRTC 編譯，同一套 kernel 也可以跑在 Vulkan 上。
據作者介紹，引擎目前已覆蓋多款 Qwen 模型：Qwen3.5/3.6 從 2B 到 35B-A3B，Qwen3 的 4B dense 與 30B-A3B，Qwen3.8-27B dense，Qwen3-Next-80B-A3B，以及 Qwen3.8-Flash-Next。量化支援範圍從 IQ1_S 到 Q8_0，另外還有 BF16 和 F16。作者稱其核心技巧面向那些無法完整裝進視訊記憶體（VRAM）的 MoE 模型；並在文中表示，在 12GB 顯示卡上執行 Qwen3.8-Flash-Next 時，RustingStrata 比原版 Strata 更快。目前這些說法均來自作者本人，材料中尚無第三方驗證或其他跟進報道。
AI 綜合 1 篇報道生成 · 更新於 1 天前
相關 AI 工具
- 熱度指數
- 47
- 全部來源
- 1
- 全部報道
- 1
- 首報
- 1 天前
這件事的報道 點標題看原文
開發者釋出純 Rust 編寫的 Qwen GGUF 推理引擎 RustingStrata，不依賴 ggml，CUDA kernel 在啟動時用 NVRTC 編譯，同一套 kernel 也能跑在 Vulkan 上。它覆蓋 Qwen3.5/3.6 到 Qwen3-Next-80B-A3B 的多款模型和 IQ1_S 至 Q8_0 量化，作者稱在 12GB 顯示卡上執行 Qwen3.8-Flash-Next 比原版 Strata 更快。
小視訊記憶體跑 Qwen MoE 的讀者可以關注這個新引擎
Reddit · LocalLLaMAAI 評分 54
同時在說的其他事
- 熱度指數 44GPT-6 Astra 可直接改寫 Qwen 權重提升數學成績1 個來源
- 熱度指數 59開發者深度實測 QoderCN 搭配 Qwen3.8-Flash 構建多場景應用1 個來源
- 熱度指數 85新教程：用 Unsloth 在單卡上微調 Qwen3-VL-8B1 個來源
- 熱度指數 94新Nanbeige4.3-33B 開源權重發布，智慧指數追平 Qwen3.8 27B1 個來源
- 熱度指數 91新單卡 RTX 5080 跑 Qwen3.8 Flash-Next 生成超 250 tok/s1 個來源
熱度怎麼算的？瞭解口徑收起
熱度按 48 小時內有多少個獨立來源在說這件事算：同一個來源發多條只算一次，並按 24 小時半衰期衰減，所以排前面的是很多人在說的事。
本頁彙總公開訂閱源，標題與摘要由模型整理，版權歸原作者所有；重要資訊請回原文核對。如權利人認為相關標題或摘要侵權，請通過頁尾聯絡郵箱提供具體頁面與權利依據，我們核實後會及時刪除或替換。
- 爆
- 討論快速增加
- 新
- 首報 6 小時內
- 發酵中
- 討論仍在增加