開發者針對 Strix Halo int4 最佳化 Gemma 4 31B 推理
2026/11/17 — 11/17 19:19·1 個來源(全部)·1 篇報道(全部)
核心速覽 (Key Takeaways)
- 開發者針對 Strix Halo 的 int4 WMMA 指令編寫了定製化 GEMM,實現了 Gemma 4 31B 模型在 int4 權重與啟用下的高效執行。
- 基準測試顯示其吞吐量達到 llama.cpp 的 2.43 倍。
事件背景與詳細解讀
2026 年 11 月 17 日 18:08,Reddit 的 LocalLLaMA 板塊出現了一篇題為《針對 Strix Halo int4 核心最佳化的 Gemma 4 31B 推理實現》的帖子,介紹了一項由開發者完成的推理最佳化工作。開發者指出,Strix Halo 搭載的 8060S 提供 int4 x int4 WMMA 指令,其運算速率可達 FP16 的兩倍,實測算力為 104 TOPS,但 ROCm 與 llama.cpp 均未呼叫該指令。為此,開發者為這一指令編寫了定製化 GEMM,使 Gemma 4 31B 能夠在 int4 權重與 int4 啟用下執行,並結合旋轉變換、GPTQ 與選擇性混合精度來維持準確率。
基準測試基於 Gemma 4 31B QAT Q4_0 模型,對照組為 llama.cpp b11056 Vulkan 版本、啟用 -fa 1 選項,測試場景設定為 2k-token 提示詞、貪心解碼、單路流,包含 pp512 與 pp2048 兩項。測試結果顯示,llama.cpp 的兩項吞吐分別為 287 與 276,開發者的實現分別為 679 與 724,整體吞吐量達到 llama.cpp 的 2.43 倍。帖子稱,這一實現為消費級硬體上的大模型本地推理提供了新方案。目前公開材料僅此一篇,尚無後續進展或更多信源對測試資料與效果的驗證。
AI 綜合 1 篇報道生成 · 更新於 11 小時前
- 熱度指數
- 70
- 全部來源
- 1
- 全部報道
- 1
- 首報
- 13 小時前
這件事的報道 點標題看原文
開發者針對 Strix Halo 的 int4 WMMA 指令編寫了定製化 GEMM,實現了 Gemma 4 31B 模型在 int4 權重與啟用下的高效執行。通過結合旋轉變換、GPTQ 與選擇性混合精度,在維持準確率的同時大幅提升了推理速度。基準測試顯示其吞吐量達到 llama.cpp 的 2.43 倍,為消費級硬體上的大模型本地推理提供了新方案。
通過底層硬體指令最佳化大幅提升大模型推理速度,對本地部署有極高參考價值。
Reddit · LocalLLaMAAI 評分 62
同時在說的其他事
- 熱度指數 1331輝達董事會設立國家安全與出口管制監督委員會25 個來源
- 熱度指數 1027加州起訴 OpenAI,就智慧體失控入侵 Hugging Face 索賠19 個來源
- 熱度指數 1006新GPT-6.2 Astra 與 Sol 上線 ChatGPT、API 及 Perplexity11 個來源
- 熱度指數 934爆黃仁勳願重返輝達任 CEO,並同意赴國會作證11 個來源
- 熱度指數 852Anthropic IPO 定價指引達區間上限或更高,11 月 19 日上市11 個來源
熱度怎麼算的?瞭解口徑收起
熱度按 48 小時內有多少個獨立來源在說這件事算:同一個來源發多條只算一次,並按 24 小時半衰期衰減,所以排前面的是很多人在說的事。
本頁彙總公開訂閱源,標題與摘要由模型整理,版權歸原作者所有;重要資訊請回原文核對。如權利人認為相關標題或摘要侵權,請通過頁尾聯絡郵箱提供具體頁面與權利依據,我們核實後會及時刪除或替換。
- 爆
- 討論快速增加
- 新
- 首報 6 小時內
- 發酵中
- 討論仍在增加

