HaiAI123

全球AI工具精选导航

行业动态
持平

Rust 推理引擎 cortiq 0.8.67 发布:引入原生 CUDA 后端

2026/11/11 — 11/13 12:16·2 个来源(全部)·2 篇报道(全部)

核心速览 (Key Takeaways)

  • 开发者 Oleg Kirichenko 推出了 Rust 推理引擎 cortiq 0.8.67,新增原生 CUDA 后端以支持 Spark-X2.6-4B 模型。
  • 实测表明,在 NVIDIA A40 上处理长提示词时,CUDA 后端的生成速度达到每秒 111.5 个 token。

事件背景与详细解读

2026 年 11 月 11 日 10:49,开发者 Oleg Kirichenko(社区 ID:infosave)发布了 Rust 推理引擎 cortiq 0.8.67,新增原生 CUDA 后端,支持从单个 CMF 文件运行 Spark-X2.6-4B 模型,Spark 是该后端支持的第一个模型。

据作者实测,在 NVIDIA A40 上处理 4000 token 提示词后,同一个 4-bit 文件在 CUDA 后端的生成速度为每秒 111.5 个 token,高于另一后端的 80.2 token/s。

目前关于此次发布的公开报道仅此一篇,未见该版本在其他硬件平台上的测试数据或后续进展。

AI 综合 1 篇报道生成 · 更新于 2 天前

最新进展针对安装多套 CUDA 导致 nvcc 版本错乱的问题,作者通过多场景实测指出,生效版本由 PATH 队列中最前的路径决定。文章给出了使用 where.exe 快速排查候选与真实生效者的实用方法。

updream
24 小时热度热度指数 76 · 峰值 98 · 8 小时前
24 小时前现在

这件事的报道 点标题看原文

今天
  1. 针对安装多套 CUDA 导致 nvcc 版本错乱的问题,作者通过多场景实测指出,生效版本由 PATH 队列中最前的路径决定。文章给出了使用 where.exe 快速排查候选与真实生效者的实用方法。

    快速解决 AI 开发环境中多版本 CUDA 的路径冲突问题。

    博客园AI 评分 68
11月11日
  1. 开发者 Oleg Kirichenko 推出了 Rust 推理引擎 cortiq 0.8.67,新增原生 CUDA 后端以支持 Spark-X2.6-4B 模型。实测表明,在 NVIDIA A40 上处理长提示词时,CUDA 后端的生成速度达到每秒 111.5 个 token。

    了解 Rust 推理引擎的 CUDA 性能提升与实现。

    DEV Community · AIAI 评分 54

同时在说的其他事

热度怎么算的?了解口径

热度按 48 小时内有多少个独立来源在说这件事算:同一个来源发多条只算一次,并按 24 小时半衰期衰减,所以排前面的是很多人在说的事。

本页汇总公开订阅源,标题与摘要由模型整理,版权归原作者所有;重要信息请回原文核对。如权利人认为相关标题或摘要侵权,请通过页尾联系邮箱提供具体页面与权利依据,我们核实后会及时删除或替换。

爆
讨论快速增加
新
首报 6 小时内
发酵中
讨论仍在增加

回 AI 行业动态榜 →