HaiAI123

全球AI工具精選導航

行業動態
持平

LookAtMyQuant 開源量化編譯器,Qwen3.5-4B 壓至 1.23 GB

2026/11/22 — 11/22 04:16·1 個來源(全部)·1 篇報道(全部)

核心速覽 (Key Takeaways)

  • LookAtMyQuant 是一個量化編譯器,通過測量每個儲存引數壓縮時對輸出的影響來分配碼字,在給定大小預算下儘量降低模型損傷。
  • 它在 Qwen3.5-4B 上把模型壓到 1.23 GB、2.3 位元/權重,並答對 540 道精確數學題中的 330 道,配方和程式碼已開源。

事件背景與詳細解讀

2026 年 11 月 22 日,LookAtMyQuant 作為一款量化編譯器登上 Hacker News 熱榜,相關專案頁面顯示其程式碼倉庫位於 https://github.com/ShinMegamiBoson/lookatmyquant ,該帖子獲得 143 個贊、16 條評論。據專案方介紹,LookAtMyQuant 的工作方式是測量模型中每一個儲存引數在壓縮時對輸出的影響,再為各引數分配碼字,使模型在給定大小預算下造成的損傷最小。材料稱,在 Gemma 4 E2B 上,其 GGUF 檔案在相同體積下的 KL 值比 Q4_K_M 低 12 倍,方法與全部結果均釋出在其網站上,程式碼採用 MIT 許可。

在 Qwen3.5-4B 上,LookAtMyQuant 2 將模型壓縮至 1.23 GB、2.3 位元/權重,該檔案在 540 道精確答案數學題中解出 330 道。材料給出的對比資料為:Prism ML 的 Bonsai 2 Ternary 4B 在 1.20 GB 下解出 328 道,未量化的原版解出 359 道;該壓縮檔案在留出文本上相對原版的 KL 為 0.45 nats。目前材料中關於這一對比的表述在摘要與正文之間存在差異:摘要稱其配方和程式碼均已開源,正文則以 LookAtMyQuant 2 的名義介紹上述結果,專案開源範圍與版本對應關係在現有報道中尚無統一說法,事件進展仍停留在材料所披露的這一階段。

AI 綜合 1 篇報道生成 · 更新於 7 小時前

相關 AI 工具

updream
24 小時熱度熱度指數 78 · 峰值 97 · 7 小時前
24 小時前現在

這件事的報道 點標題看原文

今天
  1. LookAtMyQuant 是一個量化編譯器,通過測量每個儲存引數在壓縮時對輸出的影響來分配碼字,使模型在給定大小預算下損傷最小。在 Qwen3.5-4B 上,它把模型壓到 1.23 GB、2.3 位元/權重,能解出 540 道精確答案數學題中的 330 道,配方和程式碼已開源。

    本地跑大模型的新量化配方,有程式碼可試

    Hacker News · 热榜AI 評分 53

同時在說的其他事

熱度怎麼算的?瞭解口徑

熱度按 48 小時內有多少個獨立來源在說這件事算:同一個來源發多條只算一次,並按 24 小時半衰期衰減,所以排前面的是很多人在說的事。

本頁彙總公開訂閱源,標題與摘要由模型整理,版權歸原作者所有;重要資訊請回原文核對。如權利人認為相關標題或摘要侵權,請通過頁尾聯絡郵箱提供具體頁面與權利依據,我們核實後會及時刪除或替換。

爆
討論快速增加
新
首報 6 小時內
發酵中
討論仍在增加

回 AI 行業動態榜 →