HaiAI123

全球AI工具精選導航

新行業動態
96
熱度指數
新上榜

開發者在單塊 B200 上覆現 Thinking Machines 的 4-bit 前向傳播

2026/11/17 — 11/17 13:16·1 個來源(全部)·1 篇報道(全部)

核心速覽 (Key Takeaways)

  • 有開發者在 Reddit 分享了使用單塊 B200 顯示卡端到端訓練 GPT 的復現經驗。
  • 其採用 PyTorch 2.8 結合輕量 CUDA 庫呼叫 cuBLASLt 的矩陣乘法,實現了原生 4-bit 前向傳播與 FP8 反向傳播。

事件背景與詳細解讀

2026 年 11 月 17 日 12:19,有開發者在 Reddit 的 LocalLLaMA 社群分享了使用單塊 B200 顯示卡端到端訓練 GPT 的復現經驗。據其介紹,Thinking Machines 上週曾稱 Inkling 2 Small 在訓練中使用了原生 4-bit 前向傳播,他想親自驗證這一說法。

在具體實現上,該開發者在 Modal 平臺上使用 1 塊 B200,基於 PyTorch 2.8 並搭配一個輕量 CUDA 庫,通過 ctypes 載入,在原始指標上呼叫 cuBLASLt 真正的 NVFP4 與 FP8 矩陣乘法。前向傳播採用 NVFP4,即 4-bit 數值、每 16 個數值配一個縮放因子;反向傳播採用帶隨機舍入的 FP8,主權重保持高精度。測試在寬度為 2,048、4,096 和 8,192 的 GPT 上進行,引數規模分別為 219M、840M 與 3.3B。目前公開材料僅止於這次復現過程與技術細節的分享,尚無更多後續進展。

AI 綜合 1 篇報道生成 · 更新於 30 分鐘前

updream
24 小時熱度熱度指數 96
剛上榜,走勢正在積累
24 小時前現在

這件事的報道 點標題看原文

今天
  1. 有開發者在 Reddit 的 LocalLLaMA 社群分享了使用單塊 B200 顯示卡端到端訓練 GPT 的復現經驗。其採用 PyTorch 2.8 結合輕量 CUDA 庫呼叫 cuBLASLt 的 NVFP4 與 FP8 矩陣乘法,實現了原生 4-bit 前向傳播與 FP8 反向傳播。

    獲取在單張 B200 顯示卡上進行低精度原生 4-bit 訓練的實踐方法。

    Reddit · LocalLLaMAAI 評分 68

同時在說的其他事

熱度怎麼算的?瞭解口徑

熱度按 48 小時內有多少個獨立來源在說這件事算:同一個來源發多條只算一次,並按 24 小時半衰期衰減,所以排前面的是很多人在說的事。

本頁彙總公開訂閱源,標題與摘要由模型整理,版權歸原作者所有;重要資訊請回原文核對。如權利人認為相關標題或摘要侵權,請通過頁尾聯絡郵箱提供具體頁面與權利依據,我們核實後會及時刪除或替換。

爆
討論快速增加
新
首報 6 小時內
發酵中
討論仍在增加

回 AI 行業動態榜 →