Hillock 用 SQLite 與 SIMD 超向量替代向量資料庫做本地 RAG
2026/10/03 — 10/04 00:11·1 個來源·1 篇報道
事件概覽
2026 年 10 月 3 日,在 Reddit 的 LocalLLaMA 板塊,一位自稱專案作者的網友發帖介紹了 Hillock。作者在開頭註明自己是該專案的建立者,並表示此前每次嘗試在本機執行本地 RAG,都會撞上同樣兩個瓶頸。其一是為了切分和解析文件,需要把 Chroma 或其他向量資料庫與 8B 模型一起跑起來,這會佔掉本應留給主模型的視訊記憶體;其二是文本塊的餘弦相似度在拒答難負樣本時表現不佳。針對這兩點,Hillock 改為用 SQLite 加 SIMD 超向量完成檢索,作者稱視訊記憶體佔用被控制在 1.2GB 以內。
目前關於該專案的公開資訊只有這一篇作者自述的帖子。除視訊記憶體數字之外,帖中沒有給出時間線、第三方復現、評測資料,也沒有與其他檢索方案的對比結果。Chroma 等向量資料庫在文中只是作為被替代的對照出現,作者並未說明 Hillock 支援哪些平臺、面向多大規模的資料,或者採用何種許可方式。
AI 綜合 1 篇報道生成 · 更新於 31 分鐘前
最新進展專案作者稱,本地 RAG 常見瓶頸是向量資料庫與 8B 模型爭搶視訊記憶體,且文本塊的餘弦相似度在難負樣本拒答上表現不佳。Hillock 改用 SQLite 加 SIMD 超向量做檢索,視訊記憶體佔用控制在 1.2GB 以內。
- 熱度指數
- 90
- 獨立來源
- 1
- 報道數
- 1
- 首報
- 4 小時前
這件事的報道 點標題看原文
專案作者稱,本地 RAG 常見瓶頸是向量資料庫與 8B 模型爭搶視訊記憶體,且文本塊的餘弦相似度在難負樣本拒答上表現不佳。Hillock 改用 SQLite 加 SIMD 超向量做檢索,視訊記憶體佔用控制在 1.2GB 以內。
想在本机跑 RAG 的读者可参考这套省显存的检索方案。
Reddit · LocalLLaMAAI 評分 78
同時在說的其他事
- 552發酵中Apple 收緊 macOS 全盤訪問許可權,防範 AI Agent 風險9 個來源
- 392輝達釋出 64GB 版 DGX Spark,售價 4999 美元8 個來源
- 376發酵中Meta 開源 Muse Gadgets 韌體與 SDK6 個來源
- 289Opus 5.5 與 GPT-6 Sol 同日釋出,每任務成本誰更低4 個來源
- 264Anthropic 計劃感恩節前上市,目標 11 月 9 日5 個來源
- 249新爆Aleph Alpha 釋出 Kolibri-1:78B 引數 MoE,支援 1M 上下文3 個來源
熱度怎麼算的?瞭解口徑收起
熱度按 48 小時內有多少個獨立來源在說這件事算:同一個來源發多條只算一次,並按 24 小時半衰期衰減,所以排前面的是很多人在說的事。
本頁彙總公開訂閱源,標題與摘要由模型整理,版權歸原作者所有;重要資訊請回原文核對。
- 爆
- 討論快速增加
- 新
- 首報 6 小時內
- 發酵中
- 討論仍在增加
