HaiAI123

全球AI工具精選導航

行業動態
持平

開發者分享 Exllamav3 在 9070XT 上的 MoE 模型調優經驗

2026/11/17 — 11/17 20:19·1 個來源(全部)·1 篇報道(全部)

核心速覽 (Key Takeaways)

  • 一位開發者在 Reddit 上分享了在 AMD 9070XT 顯示卡上執行 Qwen 3.6 35B MoE 模型的方法。
  • 通過增大分塊大小,實現了極高的預填充速度,為本地大模型執行提供了具體的最佳化配置參考。

事件背景與詳細解讀

2026 年 11 月 17 日 19:10,一位開發者在 Reddit 的 LocalLLaMA 社群釋出帖子,分享了在 AMD 9070XT 16GB 顯示卡上藉助 Exllamav3 執行 Qwen 3.6 35B MoE 模型的經驗。該方法把專家解除安裝到 3200Mhz 的 DDR4 記憶體上,模型以 Q4 量化執行,帖子屬於該開發者此前關於 MoE 與專家解除安裝討論的後續內容,文中還提到開發社群仍在等待 Qwen 4。

據這位開發者介紹,在對專家解除安裝的配置繼續調整後,相較此前一次發帖獲得了明顯提升:解碼速度與上次大致持平,而把分塊大小增至 5120 後,預填充速度在所有上下文長度下都超過 2000 t/s,峰值達到 2606 t/s,為本地執行大模型提供了一套可參考的最佳化配置。目前公開材料中僅有這一篇相關報道,事件停留在開發者公佈該配置與實測速度的階段,暫無後續進展。

AI 綜合 1 篇報道生成 · 更新於 10 小時前

updream
24 小時熱度熱度指數 72 · 峰值 98 · 10 小時前
24 小時前現在

這件事的報道 點標題看原文

昨天
  1. 一位開發者在 Reddit 社群分享了使用 Exllamav3 在 AMD 9070XT 16GB 顯示卡上執行 Qwen 3.6 35B MoE 模型的方法。通過將分塊大小增至 5120,其在全上下文長度下的預填充速度超過 2000 t/s,峰值達到 2606 t/s,為本地大模型執行提供了具體的最佳化配置參考。

    為本地執行 MoE 模型提供了可直接參考的視訊記憶體解除安裝與效能調優配置。

    Reddit · LocalLLaMAAI 評分 54

同時在說的其他事

熱度怎麼算的?瞭解口徑

熱度按 48 小時內有多少個獨立來源在說這件事算:同一個來源發多條只算一次,並按 24 小時半衰期衰減,所以排前面的是很多人在說的事。

本頁彙總公開訂閱源,標題與摘要由模型整理,版權歸原作者所有;重要資訊請回原文核對。如權利人認為相關標題或摘要侵權,請通過頁尾聯絡郵箱提供具體頁面與權利依據,我們核實後會及時刪除或替換。

爆
討論快速增加
新
首報 6 小時內
發酵中
討論仍在增加

回 AI 行業動態榜 →