判断 LLM prompt 前缀缓存还是重跑的分步流程

2026 年 11 月 2 日，DEV Community 的 AI 板块发布了一篇题为《决定 LLM prompt 前缀缓存还是重跑的分步流程》的帖子。文章提出了一套判断 LLM prompt 是否适合使用 provider 端前缀缓存的分步流程。

这套流程的做法是：把 prompt 拆成可复用的前缀部分和每次都会变化的结尾部分。帖子中附带了一个辅助函数，用来找出其中最长的连续稳定前缀，对这个前缀的 token 数做一个保守的估算，然后再把这个估算值与可配置的最小可缓存 token 阈值做比较。作者建议把服务方给出的示例代码接入测试与 CI 环节，同时依据内容归属、TTL 和真实埋点数据来验证缓存是否真正生效。