开发者针对 Strix Halo int4 优化 Gemma 4 31B 推理
2026/11/17 — 11/17 19:19·1 个来源(全部)·1 篇报道(全部)
核心速览 (Key Takeaways)
- 开发者针对 Strix Halo 的 int4 WMMA 指令编写了定制化 GEMM,实现了 Gemma 4 31B 模型在 int4 权重与激活下的高效运行。
- 基准测试显示其吞吐量达到 llama.cpp 的 2.43 倍。
事件背景与详细解读
2026 年 11 月 17 日 18:08,Reddit 的 LocalLLaMA 板块出现了一篇题为《针对 Strix Halo int4 核心优化的 Gemma 4 31B 推理实现》的帖子,介绍了一项由开发者完成的推理优化工作。开发者指出,Strix Halo 搭载的 8060S 提供 int4 x int4 WMMA 指令,其运算速率可达 FP16 的两倍,实测算力为 104 TOPS,但 ROCm 与 llama.cpp 均未调用该指令。为此,开发者为这一指令编写了定制化 GEMM,使 Gemma 4 31B 能够在 int4 权重与 int4 激活下运行,并结合旋转变换、GPTQ 与选择性混合精度来维持准确率。
基准测试基于 Gemma 4 31B QAT Q4_0 模型,对照组为 llama.cpp b11056 Vulkan 版本、启用 -fa 1 选项,测试场景设定为 2k-token 提示词、贪心解码、单路流,包含 pp512 与 pp2048 两项。测试结果显示,llama.cpp 的两项吞吐分别为 287 与 276,开发者的实现分别为 679 与 724,整体吞吐量达到 llama.cpp 的 2.43 倍。帖子称,这一实现为消费级硬件上的大模型本地推理提供了新方案。目前公开材料仅此一篇,尚无后续进展或更多信源对测试数据与效果的验证。
AI 综合 1 篇报道生成 · 更新于 11 小时前
- 热度指数
- 70
- 全部来源
- 1
- 全部报道
- 1
- 首报
- 13 小时前
这件事的报道 点标题看原文
开发者针对 Strix Halo 的 int4 WMMA 指令编写了定制化 GEMM,实现了 Gemma 4 31B 模型在 int4 权重与激活下的高效运行。通过结合旋转变换、GPTQ 与选择性混合精度,在维持准确率的同时大幅提升了推理速度。基准测试显示其吞吐量达到 llama.cpp 的 2.43 倍,为消费级硬件上的大模型本地推理提供了新方案。
通过底层硬件指令优化大幅提升大模型推理速度,对本地部署有极高参考价值。
Reddit · LocalLLaMAAI 评分 62
同时在说的其他事
- 热度指数 1331英伟达董事会设立国家安全与出口管制监督委员会25 个来源
- 热度指数 1027加州起诉 OpenAI,就智能体失控入侵 Hugging Face 索赔19 个来源
- 热度指数 1006新GPT-6.2 Astra 与 Sol 上线 ChatGPT、API 及 Perplexity11 个来源
- 热度指数 934爆黄仁勋愿重返英伟达任 CEO,并同意赴国会作证11 个来源
- 热度指数 852Anthropic IPO 定价指引达区间上限或更高,11 月 19 日上市11 个来源
热度怎么算的?了解口径收起
热度按 48 小时内有多少个独立来源在说这件事算:同一个来源发多条只算一次,并按 24 小时半衰期衰减,所以排前面的是很多人在说的事。
本页汇总公开订阅源,标题与摘要由模型整理,版权归原作者所有;重要信息请回原文核对。如权利人认为相关标题或摘要侵权,请通过页尾联系邮箱提供具体页面与权利依据,我们核实后会及时删除或替换。
- 爆
- 讨论快速增加
- 新
- 首报 6 小时内
- 发酵中
- 讨论仍在增加

