HaiAI123

全球AI工具精选导航

行业动态
25
热度指数
持平

开发者开源 deepseek-one-gpu,单张 96GB 卡跑 V4.1-Flash

2026/10/21 — 10/24 00:21·2 个来源(全部)·2 篇报道(全部)

核心速览 (Key Takeaways)

  • 开发者开源 deepseek-one-gpu 引擎,把 763B 参数的 DeepSeek-V4.1-Flash 量化到 Q2_K,用单张 96GB 的 RTX PRO 6000 Blackwell 加服务器内存,以 OpenAI 兼容 API 提供服务。
  • 文章基于实测说明速度由什么决定:每层 384 个专家中把约 5825 个最常用的留在 GPU(69.5 GiB),其余放到固定内存。

事件背景与详细解读

2026 年 10 月 21 日,DEV Community 的一篇文章介绍了开发者开源的 deepseek-one-gpu 引擎。据该文,DeepSeek-V4.1-Flash 拥有 763B 参数,量化到 Q2_K 后体积仍有 264.5 GB,而单张 RTX PRO 6000 Blackwell 只有 96 GB 显存。这个开源引擎的做法是把模型放在这一张卡上,再借助服务器内存,以 OpenAI 兼容 API 的形式提供服务。

文章基于仓库中的实测结果说明速度由什么决定:每层 384 个专家中,把 5825 个最常用的专家留在 GPU 上,占用 69.5 GiB,其余专家放在固定内存中;实测约九成的专家选择落在 GPU 上。文章面向准备自行部署的人,讲的是哪些因素决定速度,以及在归咎于引擎之前应当检查什么。目前公开的信息就停在这一步:引擎已开源,实测数据来自仓库,尚未见到其他来源的独立验证或后续版本说明。

AI 综合 1 篇报道生成 · 更新于 3 天前

最新进展开发者开源 deepseek-one-gpu 引擎,把 763B 参数的 DeepSeek-V4.1-Flash 量化到 Q2_K 后,用单张 96 GB 的 RTX PRO 6000 Blackwell 加服务器内存,以 OpenAI 兼容 API 提供服务。文章基于实测说明速度由什么决定:每层 384 个专家中把 5825 个最常用的留在 GPU(69.5 GiB),其余放固定内存,实测约九成专家选择落在 GPU 上。

相关 AI 工具

24 小时热度热度指数 25
刚上榜,走势正在积累
24 小时前现在

这件事的报道 点标题看原文

10月21日
  1. 开发者开源 deepseek-one-gpu 引擎,把 763B 参数的 DeepSeek-V4.1-Flash 量化到 Q2_K 后,用单张 96 GB 的 RTX PRO 6000 Blackwell 加服务器内存,以 OpenAI 兼容 API 提供服务。文章基于实测说明速度由什么决定:每层 384 个专家中把 5825 个最常用的留在 GPU(69.5 GiB),其余放固定内存,实测约九成专家选择落在 GPU 上。

    单卡跑大模型的实测调优要点

    DEV Community · AIAI 评分 57
10月20日
  1. 据 Artificial Analysis 评测,DeepSeek V4.1 Flash 1017 在 AA-Omniscience 上的非幻觉率为 33%,比 V4.1 Flash 提高 29 个百分点;准确率从 43% 升到 46%,综合得分由 -5 转为 +5。也就是说,它在更少编造的同时答对率只是小幅上升。

    幻觉率大幅下降但准确率只微涨,说明能力边界在哪

    X:Artificial Analysis (@artificialanlys)官方AI 评分 40

同时在说的其他事

热度怎么算的?了解口径

热度按 48 小时内有多少个独立来源在说这件事算:同一个来源发多条只算一次,并按 24 小时半衰期衰减,所以排前面的是很多人在说的事。

本页汇总公开订阅源,标题与摘要由模型整理,版权归原作者所有;重要信息请回原文核对。如权利人认为相关标题或摘要侵权,请通过页尾联系邮箱提供具体页面与权利依据,我们核实后会及时删除或替换。

爆
讨论快速增加
新
首报 6 小时内
发酵中
讨论仍在增加

回 AI 行业动态榜 →