HaiAI123

全球AI工具精选导航

行业动态
持平

开发者针对 Strix Halo int4 优化 Gemma 4 31B 推理

2026/11/17 — 11/17 19:19·1 个来源(全部)·1 篇报道(全部)

核心速览 (Key Takeaways)

  • 开发者针对 Strix Halo 的 int4 WMMA 指令编写了定制化 GEMM,实现了 Gemma 4 31B 模型在 int4 权重与激活下的高效运行。
  • 基准测试显示其吞吐量达到 llama.cpp 的 2.43 倍。

事件背景与详细解读

2026 年 11 月 17 日 18:08,Reddit 的 LocalLLaMA 板块出现了一篇题为《针对 Strix Halo int4 核心优化的 Gemma 4 31B 推理实现》的帖子,介绍了一项由开发者完成的推理优化工作。开发者指出,Strix Halo 搭载的 8060S 提供 int4 x int4 WMMA 指令,其运算速率可达 FP16 的两倍,实测算力为 104 TOPS,但 ROCm 与 llama.cpp 均未调用该指令。为此,开发者为这一指令编写了定制化 GEMM,使 Gemma 4 31B 能够在 int4 权重与 int4 激活下运行,并结合旋转变换、GPTQ 与选择性混合精度来维持准确率。

基准测试基于 Gemma 4 31B QAT Q4_0 模型,对照组为 llama.cpp b11056 Vulkan 版本、启用 -fa 1 选项,测试场景设定为 2k-token 提示词、贪心解码、单路流,包含 pp512 与 pp2048 两项。测试结果显示,llama.cpp 的两项吞吐分别为 287 与 276,开发者的实现分别为 679 与 724,整体吞吐量达到 llama.cpp 的 2.43 倍。帖子称,这一实现为消费级硬件上的大模型本地推理提供了新方案。目前公开材料仅此一篇,尚无后续进展或更多信源对测试数据与效果的验证。

AI 综合 1 篇报道生成 · 更新于 11 小时前

updream
24 小时热度热度指数 70 · 峰值 98 · 11 小时前
24 小时前现在

这件事的报道 点标题看原文

昨天
  1. 开发者针对 Strix Halo 的 int4 WMMA 指令编写了定制化 GEMM,实现了 Gemma 4 31B 模型在 int4 权重与激活下的高效运行。通过结合旋转变换、GPTQ 与选择性混合精度,在维持准确率的同时大幅提升了推理速度。基准测试显示其吞吐量达到 llama.cpp 的 2.43 倍,为消费级硬件上的大模型本地推理提供了新方案。

    通过底层硬件指令优化大幅提升大模型推理速度,对本地部署有极高参考价值。

    Reddit · LocalLLaMAAI 评分 62

同时在说的其他事

热度怎么算的?了解口径

热度按 48 小时内有多少个独立来源在说这件事算:同一个来源发多条只算一次,并按 24 小时半衰期衰减,所以排前面的是很多人在说的事。

本页汇总公开订阅源,标题与摘要由模型整理,版权归原作者所有;重要信息请回原文核对。如权利人认为相关标题或摘要侵权,请通过页尾联系邮箱提供具体页面与权利依据,我们核实后会及时删除或替换。

爆
讨论快速增加
新
首报 6 小时内
发酵中
讨论仍在增加

回 AI 行业动态榜 →