單卡 RTX 5080 跑 Qwen3.8 Flash-Next 生成超 250 tok/s
2026/11/06 — 11/06 01:20·1 個來源（全部）·1 篇報道（全部）
核心速覽 (Key Takeaways)
- 一位 LocalLLaMA 使用者稱，用 Basalt 引擎在單張 RTX 5080 加 64GB 記憶體上執行 Qwen3.8 Flash-Next，在實際 Agent 編碼會話中生成速度超過 250 tok/s，prefill 達 5700 tok/s。
- 他稱這比不帶 draft 的 llama.cpp 快約 3.5 倍，帶 Lamina drafter 時約 5 倍。
事件背景與詳細解讀
2026 年 11 月 6 日，Reddit 社群 LocalLLaMA 版塊的一位使用者發帖稱，自己用 Basalt 引擎在單張 RTX 5080 顯示卡加上 64GB 記憶體的環境中執行 Qwen3.8 Flash-Next，在實際 Agent 編碼會話裡測得生成速度超過 250 tok/s，prefill 達到 5700 tok/s。他給出的對比是：同樣模型檔案、同一臺機器上，解碼速度比不帶 draft 的 llama.cpp 快約 3.5 倍，帶 Lamina drafter 時快約 5 倍，prompt 讀取快約 7 倍。
他還提到 Unsloth 在 11 月 4 日上傳的新版 UD-IQ3_XXS 量化（Dynamic v3.1），體積與 16GB 顯示卡上常用的 GSQ-RCO IQ3_S 相同，但精度更好：wikitext 困惑度從 3.382 降到 3.247，基本追平 BF16 的 3.273，代價是解碼速度損失 1% 到 3.5%。Lamina 是由 eddoursul 進一步訓練的 MTP drafter。
目前能看到的只有這一條使用者自述，尚無獨立復現或官方資料。
AI 綜合 1 篇報道生成 · 更新於 3 小時前
相關 AI 工具
- 熱度指數
- 91
- 全部來源
- 1
- 全部報道
- 1
- 首報
- 4 小時前
這件事的報道 點標題看原文
一位 LocalLLaMA 使用者稱，用 Basalt 引擎在單張 RTX 5080 加 64GB 記憶體上執行 Qwen3.8 Flash-Next，實際 Agent 編碼會話中生成速度超過 250 tok/s，prefill 達 5700 tok/s。他稱這比不帶 draft 的 llama.cpp 快約 3.5 倍、帶 Lamina drafter 時約 5 倍，Unsloth 新的 UD-IQ3_XXS 量化把 wikitext 困惑度從 3.382 降到 3.247，代價是生成速度損失 1% 到 3.5%。
可複用的本地部署與量化引數參考
Reddit · LocalLLaMAAI 評分 65
同時在說的其他事
- 熱度指數 59開發者深度實測 QoderCN 搭配 Qwen3.8-Flash 構建多場景應用1 個來源
- 熱度指數 85新教程：用 Unsloth 在單卡上微調 Qwen3-VL-8B1 個來源
- 熱度指數 94新Nanbeige4.3-33B 開源權重發布，智慧指數追平 Qwen3.8 27B1 個來源
- 熱度指數 44GPT-6 Astra 可直接改寫 Qwen 權重提升數學成績1 個來源
- 熱度指數 47開發者釋出純 Rust Qwen GGUF 推理引擎 RustingStrata1 個來源
熱度怎麼算的？瞭解口徑收起
熱度按 48 小時內有多少個獨立來源在說這件事算：同一個來源發多條只算一次，並按 24 小時半衰期衰減，所以排前面的是很多人在說的事。
本頁彙總公開訂閱源，標題與摘要由模型整理，版權歸原作者所有；重要資訊請回原文核對。如權利人認為相關標題或摘要侵權，請通過頁尾聯絡郵箱提供具體頁面與權利依據，我們核實後會及時刪除或替換。
- 爆
- 討論快速增加
- 新
- 首報 6 小時內
- 發酵中
- 討論仍在增加