HaiAI123

全球AI工具精選導航

行業動態
持平

Rust 推理引擎 cortiq 0.8.67 釋出:引入原生 CUDA 後端

2026/11/11 — 11/13 12:16·2 個來源(全部)·2 篇報道(全部)

核心速覽 (Key Takeaways)

  • 開發者 Oleg Kirichenko 推出了 Rust 推理引擎 cortiq 0.8.67,新增原生 CUDA 後端以支援 Spark-X2.6-4B 模型。
  • 實測表明,在 NVIDIA A40 上處理長提示詞時,CUDA 後端的生成速度達到每秒 111.5 個 token。

事件背景與詳細解讀

2026 年 11 月 11 日 10:49,開發者 Oleg Kirichenko(社群 ID:infosave)釋出了 Rust 推理引擎 cortiq 0.8.67,新增原生 CUDA 後端,支援從單個 CMF 檔案執行 Spark-X2.6-4B 模型,Spark 是該後端支援的第一個模型。

據作者實測,在 NVIDIA A40 上處理 4000 token 提示詞後,同一個 4-bit 檔案在 CUDA 後端的生成速度為每秒 111.5 個 token,高於另一後端的 80.2 token/s。

目前關於此次釋出的公開報道僅此一篇,未見該版本在其他硬體平臺上的測試資料或後續進展。

AI 綜合 1 篇報道生成 · 更新於 2 天前

最新進展針對安裝多套 CUDA 導致 nvcc 版本錯亂的問題,作者通過多場景實測指出,生效版本由 PATH 佇列中最前的路徑決定。文章給出了使用 where.exe 快速排查候選與真實生效者的實用方法。

updream
24 小時熱度熱度指數 76 · 峰值 98 · 8 小時前
24 小時前現在

這件事的報道 點標題看原文

今天
  1. 針對安裝多套 CUDA 導致 nvcc 版本錯亂的問題,作者通過多場景實測指出,生效版本由 PATH 佇列中最前的路徑決定。文章給出了使用 where.exe 快速排查候選與真實生效者的實用方法。

    快速解決 AI 開發環境中多版本 CUDA 的路徑衝突問題。

    博客园AI 評分 68
11月11日
  1. 開發者 Oleg Kirichenko 推出了 Rust 推理引擎 cortiq 0.8.67,新增原生 CUDA 後端以支援 Spark-X2.6-4B 模型。實測表明,在 NVIDIA A40 上處理長提示詞時,CUDA 後端的生成速度達到每秒 111.5 個 token。

    瞭解 Rust 推理引擎的 CUDA 效能提升與實現。

    DEV Community · AIAI 評分 54

同時在說的其他事

熱度怎麼算的?瞭解口徑

熱度按 48 小時內有多少個獨立來源在說這件事算:同一個來源發多條只算一次,並按 24 小時半衰期衰減,所以排前面的是很多人在說的事。

本頁彙總公開訂閱源,標題與摘要由模型整理,版權歸原作者所有;重要資訊請回原文核對。如權利人認為相關標題或摘要侵權,請通過頁尾聯絡郵箱提供具體頁面與權利依據,我們核實後會及時刪除或替換。

爆
討論快速增加
新
首報 6 小時內
發酵中
討論仍在增加

回 AI 行業動態榜 →