HaiAI123

全球AI工具精选导航

行业动态
持平

LookAtMyQuant 开源量化编译器,Qwen3.5-4B 压至 1.23 GB

2026/11/22 — 11/22 04:16·1 个来源(全部)·1 篇报道(全部)

核心速览 (Key Takeaways)

  • LookAtMyQuant 是一个量化编译器,通过测量每个存储参数压缩时对输出的影响来分配码字,在给定大小预算下尽量降低模型损伤。
  • 它在 Qwen3.5-4B 上把模型压到 1.23 GB、2.3 比特/权重,并答对 540 道精确数学题中的 330 道,配方和代码已开源。

事件背景与详细解读

2026 年 11 月 22 日,LookAtMyQuant 作为一款量化编译器登上 Hacker News 热榜,相关项目页面显示其代码仓库位于 https://github.com/ShinMegamiBoson/lookatmyquant ,该帖子获得 143 个赞、16 条评论。据项目方介绍,LookAtMyQuant 的工作方式是测量模型中每一个存储参数在压缩时对输出的影响,再为各参数分配码字,使模型在给定大小预算下造成的损伤最小。材料称,在 Gemma 4 E2B 上,其 GGUF 文件在相同体积下的 KL 值比 Q4_K_M 低 12 倍,方法与全部结果均发布在其网站上,代码采用 MIT 许可。

在 Qwen3.5-4B 上,LookAtMyQuant 2 将模型压缩至 1.23 GB、2.3 比特/权重,该文件在 540 道精确答案数学题中解出 330 道。材料给出的对比数据为:Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 下解出 328 道,未量化的原版解出 359 道;该压缩文件在留出文本上相对原版的 KL 为 0.45 nats。目前材料中关于这一对比的表述在摘要与正文之间存在差异:摘要称其配方和代码均已开源,正文则以 LookAtMyQuant 2 的名义介绍上述结果,项目开源范围与版本对应关系在现有报道中尚无统一说法,事件进展仍停留在材料所披露的这一阶段。

AI 综合 1 篇报道生成 · 更新于 7 小时前

相关 AI 工具

updream
24 小时热度热度指数 78 · 峰值 97 · 7 小时前
24 小时前现在

这件事的报道 点标题看原文

今天
  1. LookAtMyQuant 是一个量化编译器,通过测量每个存储参数在压缩时对输出的影响来分配码字,使模型在给定大小预算下损伤最小。在 Qwen3.5-4B 上,它把模型压到 1.23 GB、2.3 比特/权重,能解出 540 道精确答案数学题中的 330 道,配方和代码已开源。

    本地跑大模型的新量化配方,有代码可试

    Hacker News · 热榜AI 评分 53

同时在说的其他事

热度怎么算的?了解口径

热度按 48 小时内有多少个独立来源在说这件事算:同一个来源发多条只算一次,并按 24 小时半衰期衰减,所以排前面的是很多人在说的事。

本页汇总公开订阅源,标题与摘要由模型整理,版权归原作者所有;重要信息请回原文核对。如权利人认为相关标题或摘要侵权,请通过页尾联系邮箱提供具体页面与权利依据,我们核实后会及时删除或替换。

爆
讨论快速增加
新
首报 6 小时内
发酵中
讨论仍在增加

回 AI 行业动态榜 →