LookAtMyQuant 开源量化编译器,Qwen3.5-4B 压至 1.23 GB
2026/11/22 — 11/22 04:16·1 个来源(全部)·1 篇报道(全部)
核心速览 (Key Takeaways)
- LookAtMyQuant 是一个量化编译器,通过测量每个存储参数压缩时对输出的影响来分配码字,在给定大小预算下尽量降低模型损伤。
- 它在 Qwen3.5-4B 上把模型压到 1.23 GB、2.3 比特/权重,并答对 540 道精确数学题中的 330 道,配方和代码已开源。
事件背景与详细解读
2026 年 11 月 22 日,LookAtMyQuant 作为一款量化编译器登上 Hacker News 热榜,相关项目页面显示其代码仓库位于 https://github.com/ShinMegamiBoson/lookatmyquant ,该帖子获得 143 个赞、16 条评论。据项目方介绍,LookAtMyQuant 的工作方式是测量模型中每一个存储参数在压缩时对输出的影响,再为各参数分配码字,使模型在给定大小预算下造成的损伤最小。材料称,在 Gemma 4 E2B 上,其 GGUF 文件在相同体积下的 KL 值比 Q4_K_M 低 12 倍,方法与全部结果均发布在其网站上,代码采用 MIT 许可。
在 Qwen3.5-4B 上,LookAtMyQuant 2 将模型压缩至 1.23 GB、2.3 比特/权重,该文件在 540 道精确答案数学题中解出 330 道。材料给出的对比数据为:Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 下解出 328 道,未量化的原版解出 359 道;该压缩文件在留出文本上相对原版的 KL 为 0.45 nats。目前材料中关于这一对比的表述在摘要与正文之间存在差异:摘要称其配方和代码均已开源,正文则以 LookAtMyQuant 2 的名义介绍上述结果,项目开源范围与版本对应关系在现有报道中尚无统一说法,事件进展仍停留在材料所披露的这一阶段。
AI 综合 1 篇报道生成 · 更新于 7 小时前
相关 AI 工具
- 热度指数
- 78
- 全部来源
- 1
- 全部报道
- 1
- 首报
- 9 小时前
这件事的报道 点标题看原文
LookAtMyQuant 是一个量化编译器,通过测量每个存储参数在压缩时对输出的影响来分配码字,使模型在给定大小预算下损伤最小。在 Qwen3.5-4B 上,它把模型压到 1.23 GB、2.3 比特/权重,能解出 540 道精确答案数学题中的 330 道,配方和代码已开源。
本地跑大模型的新量化配方,有代码可试
Hacker News · 热榜AI 评分 53
同时在说的其他事
- 热度指数 38Together AI 上线 Qwen3 TTS,9 种声音、10 种语言1 个来源
- 热度指数 85Together AI 七折提供 Qwen4 Max,单请求修复 Tornado 缺陷1 个来源
- 热度指数 592发酵中Thinking Machines Lab 开源 Inkling 2 Mini,模型卡推荐 32GB 内存10 个来源
- 热度指数 53MiniMax 开源 H3 Image,单模型同时支持生图与改图1 个来源
- 热度指数 1134发酵中Anthropic 上市首周市值达 1.6 万亿美元,IPO 募资 935 亿美元21 个来源
热度怎么算的?了解口径收起
热度按 48 小时内有多少个独立来源在说这件事算:同一个来源发多条只算一次,并按 24 小时半衰期衰减,所以排前面的是很多人在说的事。
本页汇总公开订阅源,标题与摘要由模型整理,版权归原作者所有;重要信息请回原文核对。如权利人认为相关标题或摘要侵权,请通过页尾联系邮箱提供具体页面与权利依据,我们核实后会及时删除或替换。
- 爆
- 讨论快速增加
- 新
- 首报 6 小时内
- 发酵中
- 讨论仍在增加

