開發者分享 Exllamav3 在 9070XT 上的 MoE 模型調優經驗
2026/11/17 — 11/17 20:19·1 個來源(全部)·1 篇報道(全部)
核心速覽 (Key Takeaways)
- 一位開發者在 Reddit 上分享了在 AMD 9070XT 顯示卡上執行 Qwen 3.6 35B MoE 模型的方法。
- 通過增大分塊大小,實現了極高的預填充速度,為本地大模型執行提供了具體的最佳化配置參考。
事件背景與詳細解讀
2026 年 11 月 17 日 19:10,一位開發者在 Reddit 的 LocalLLaMA 社群釋出帖子,分享了在 AMD 9070XT 16GB 顯示卡上藉助 Exllamav3 執行 Qwen 3.6 35B MoE 模型的經驗。該方法把專家解除安裝到 3200Mhz 的 DDR4 記憶體上,模型以 Q4 量化執行,帖子屬於該開發者此前關於 MoE 與專家解除安裝討論的後續內容,文中還提到開發社群仍在等待 Qwen 4。
據這位開發者介紹,在對專家解除安裝的配置繼續調整後,相較此前一次發帖獲得了明顯提升:解碼速度與上次大致持平,而把分塊大小增至 5120 後,預填充速度在所有上下文長度下都超過 2000 t/s,峰值達到 2606 t/s,為本地執行大模型提供了一套可參考的最佳化配置。目前公開材料中僅有這一篇相關報道,事件停留在開發者公佈該配置與實測速度的階段,暫無後續進展。
AI 綜合 1 篇報道生成 · 更新於 10 小時前
- 熱度指數
- 72
- 全部來源
- 1
- 全部報道
- 1
- 首報
- 12 小時前
這件事的報道 點標題看原文
一位開發者在 Reddit 社群分享了使用 Exllamav3 在 AMD 9070XT 16GB 顯示卡上執行 Qwen 3.6 35B MoE 模型的方法。通過將分塊大小增至 5120,其在全上下文長度下的預填充速度超過 2000 t/s,峰值達到 2606 t/s,為本地大模型執行提供了具體的最佳化配置參考。
為本地執行 MoE 模型提供了可直接參考的視訊記憶體解除安裝與效能調優配置。
Reddit · LocalLLaMAAI 評分 54
同時在說的其他事
- 熱度指數 1331輝達董事會設立國家安全與出口管制監督委員會25 個來源
- 熱度指數 1027加州起訴 OpenAI,就智慧體失控入侵 Hugging Face 索賠19 個來源
- 熱度指數 1006新GPT-6.2 Astra 與 Sol 上線 ChatGPT、API 及 Perplexity11 個來源
- 熱度指數 934爆黃仁勳願重返輝達任 CEO,並同意赴國會作證11 個來源
- 熱度指數 852Anthropic IPO 定價指引達區間上限或更高,11 月 19 日上市11 個來源
熱度怎麼算的?瞭解口徑收起
熱度按 48 小時內有多少個獨立來源在說這件事算:同一個來源發多條只算一次,並按 24 小時半衰期衰減,所以排前面的是很多人在說的事。
本頁彙總公開訂閱源,標題與摘要由模型整理,版權歸原作者所有;重要資訊請回原文核對。如權利人認為相關標題或摘要侵權,請通過頁尾聯絡郵箱提供具體頁面與權利依據,我們核實後會及時刪除或替換。
- 爆
- 討論快速增加
- 新
- 首報 6 小時內
- 發酵中
- 討論仍在增加

