单卡 RTX 5080 跑 Qwen3.8 Flash-Next 生成超 250 tok/s
2026/11/06 — 11/06 01:20·1 个来源（全部）·1 篇报道（全部）
核心速览 (Key Takeaways)
- 一位 LocalLLaMA 用户称，用 Basalt 引擎在单张 RTX 5080 加 64GB 内存上运行 Qwen3.8 Flash-Next，在实际 Agent 编码会话中生成速度超过 250 tok/s，prefill 达 5700 tok/s。
- 他称这比不带 draft 的 llama.cpp 快约 3.5 倍，带 Lamina drafter 时约 5 倍。
事件背景与详细解读
2026 年 11 月 6 日，Reddit 社区 LocalLLaMA 版块的一位用户发帖称，自己用 Basalt 引擎在单张 RTX 5080 显卡加上 64GB 内存的环境中运行 Qwen3.8 Flash-Next，在实际 Agent 编码会话里测得生成速度超过 250 tok/s，prefill 达到 5700 tok/s。他给出的对比是：同样模型文件、同一台机器上，解码速度比不带 draft 的 llama.cpp 快约 3.5 倍，带 Lamina drafter 时快约 5 倍，prompt 读取快约 7 倍。
他还提到 Unsloth 在 11 月 4 日上传的新版 UD-IQ3_XXS 量化（Dynamic v3.1），体积与 16GB 显卡上常用的 GSQ-RCO IQ3_S 相同，但精度更好：wikitext 困惑度从 3.382 降到 3.247，基本追平 BF16 的 3.273，代价是解码速度损失 1% 到 3.5%。Lamina 是由 eddoursul 进一步训练的 MTP drafter。
目前能看到的只有这一条用户自述，尚无独立复现或官方数据。
AI 综合 1 篇报道生成 · 更新于 3 小时前
相关 AI 工具
- 热度指数
- 91
- 全部来源
- 1
- 全部报道
- 1
- 首报
- 4 小时前
这件事的报道 点标题看原文
一位 LocalLLaMA 用户称，用 Basalt 引擎在单张 RTX 5080 加 64GB 内存上运行 Qwen3.8 Flash-Next，实际 Agent 编码会话中生成速度超过 250 tok/s，prefill 达 5700 tok/s。他称这比不带 draft 的 llama.cpp 快约 3.5 倍、带 Lamina drafter 时约 5 倍，Unsloth 新的 UD-IQ3_XXS 量化把 wikitext 困惑度从 3.382 降到 3.247，代价是生成速度损失 1% 到 3.5%。
可复用的本地部署与量化参数参考
Reddit · LocalLLaMAAI 评分 65
同时在说的其他事
- 热度指数 59开发者深度实测 QoderCN 搭配 Qwen3.8-Flash 构建多场景应用1 个来源
- 热度指数 85新教程：用 Unsloth 在单卡上微调 Qwen3-VL-8B1 个来源
- 热度指数 94新Nanbeige4.3-33B 开源权重发布，智能指数追平 Qwen3.8 27B1 个来源
- 热度指数 44GPT-6 Astra 可直接改写 Qwen 权重提升数学成绩1 个来源
- 热度指数 47开发者发布纯 Rust Qwen GGUF 推理引擎 RustingStrata1 个来源
热度怎么算的？了解口径收起
热度按 48 小时内有多少个独立来源在说这件事算：同一个来源发多条只算一次，并按 24 小时半衰期衰减，所以排前面的是很多人在说的事。
本页汇总公开订阅源，标题与摘要由模型整理，版权归原作者所有；重要信息请回原文核对。如权利人认为相关标题或摘要侵权，请通过页尾联系邮箱提供具体页面与权利依据，我们核实后会及时删除或替换。
- 爆
- 讨论快速增加
- 新
- 首报 6 小时内
- 发酵中
- 讨论仍在增加