HaiAI123

全球AI工具精選導航

行業動態
持平

開發者針對 Strix Halo int4 最佳化 Gemma 4 31B 推理

2026/11/17 — 11/17 19:19·1 個來源(全部)·1 篇報道(全部)

核心速覽 (Key Takeaways)

  • 開發者針對 Strix Halo 的 int4 WMMA 指令編寫了定製化 GEMM,實現了 Gemma 4 31B 模型在 int4 權重與啟用下的高效執行。
  • 基準測試顯示其吞吐量達到 llama.cpp 的 2.43 倍。

事件背景與詳細解讀

2026 年 11 月 17 日 18:08,Reddit 的 LocalLLaMA 板塊出現了一篇題為《針對 Strix Halo int4 核心最佳化的 Gemma 4 31B 推理實現》的帖子,介紹了一項由開發者完成的推理最佳化工作。開發者指出,Strix Halo 搭載的 8060S 提供 int4 x int4 WMMA 指令,其運算速率可達 FP16 的兩倍,實測算力為 104 TOPS,但 ROCm 與 llama.cpp 均未呼叫該指令。為此,開發者為這一指令編寫了定製化 GEMM,使 Gemma 4 31B 能夠在 int4 權重與 int4 啟用下執行,並結合旋轉變換、GPTQ 與選擇性混合精度來維持準確率。

基準測試基於 Gemma 4 31B QAT Q4_0 模型,對照組為 llama.cpp b11056 Vulkan 版本、啟用 -fa 1 選項,測試場景設定為 2k-token 提示詞、貪心解碼、單路流,包含 pp512 與 pp2048 兩項。測試結果顯示,llama.cpp 的兩項吞吐分別為 287 與 276,開發者的實現分別為 679 與 724,整體吞吐量達到 llama.cpp 的 2.43 倍。帖子稱,這一實現為消費級硬體上的大模型本地推理提供了新方案。目前公開材料僅此一篇,尚無後續進展或更多信源對測試資料與效果的驗證。

AI 綜合 1 篇報道生成 · 更新於 11 小時前

updream
24 小時熱度熱度指數 70 · 峰值 98 · 11 小時前
24 小時前現在

這件事的報道 點標題看原文

昨天
  1. 開發者針對 Strix Halo 的 int4 WMMA 指令編寫了定製化 GEMM,實現了 Gemma 4 31B 模型在 int4 權重與啟用下的高效執行。通過結合旋轉變換、GPTQ 與選擇性混合精度,在維持準確率的同時大幅提升了推理速度。基準測試顯示其吞吐量達到 llama.cpp 的 2.43 倍,為消費級硬體上的大模型本地推理提供了新方案。

    通過底層硬體指令最佳化大幅提升大模型推理速度,對本地部署有極高參考價值。

    Reddit · LocalLLaMAAI 評分 62

同時在說的其他事

熱度怎麼算的?瞭解口徑

熱度按 48 小時內有多少個獨立來源在說這件事算:同一個來源發多條只算一次,並按 24 小時半衰期衰減,所以排前面的是很多人在說的事。

本頁彙總公開訂閱源,標題與摘要由模型整理,版權歸原作者所有;重要資訊請回原文核對。如權利人認為相關標題或摘要侵權,請通過頁尾聯絡郵箱提供具體頁面與權利依據,我們核實後會及時刪除或替換。

爆
討論快速增加
新
首報 6 小時內
發酵中
討論仍在增加

回 AI 行業動態榜 →