開發者用 Ollama、sqlite-vec 搭純 Python 離線 RAG

2026 年 11 月 3 日，一位開發者在 DEV Community 上發表了一份完整的架構拆解，介紹如何用 Ollama、sqlite-vec 和函式呼叫 Agent 搭建全私有、可離線執行的 RAG 應用。

文章以每天 1 萬次查詢、含多輪上下文與推理模型的場景估算，按 token 計費的雲端 API 每月會帶來 800 至 3000 美元的可變成本；此外，醫療、法律和企業客戶明確不允許敏感的內部文件越過公共雲網絡邊界，因此作者選擇了完全私有化的方案。該拆解覆蓋了整套架構，但報道摘要與原文片段在此中斷，無法核對文中是否給出了檢索、分塊、embedding 等具體實現細節。