开发者用 Ollama、sqlite-vec 搭纯 Python 离线 RAG

2026 年 11 月 3 日，一位开发者在 DEV Community 上发表了一份完整的架构拆解，介绍如何用 Ollama、sqlite-vec 和函数调用 Agent 搭建全私有、可离线运行的 RAG 应用。

文章以每天 1 万次查询、含多轮上下文与推理模型的场景估算，按 token 计费的云端 API 每月会带来 800 至 3000 美元的可变成本；此外，医疗、法律和企业客户明确不允许敏感的内部文档越过公共云网络边界，因此作者选择了完全私有化的方案。该拆解覆盖了整套架构，但报道摘要与原文片段在此中断，无法核对文中是否给出了检索、分块、embedding 等具体实现细节。