用 Redis 预留 token 取代按请求数限流

2026 年 10 月 3 日，DEV Community 上的一篇文章提出，用按 token 预留额度的方式取代按请求数限流，来解决 LLM 成本失控的问题。文章给出的理由是，一次请求的代价差异极大：它可能只是一句提问，也可能触发一次 Agent 任务，跑十几轮模型调用，而且每一轮重新发送的上下文都比上一轮更长。按请求数限流会把这两种情况同样算作一次，因此管不住实际开销。

文章认为，看似直接的做法是等每次响应结束后再统计 token 用量，但这条路走不通：并发请求在调用前都会看到自己「未超限」，于是全部放行，限流形同虚设。作者提出的规则是限制 token 本身，在调用之前先按估算预留一部分额度，调用完成之后再按实际用量修正这笔记账。

围绕这条规则，文章还列出了需要交代的几个问题：到底统计什么、在什么时间点统计、以及计数器应该放在哪里。原文没有给出具体实现代码或某一款产品的落地结果，只停留在规则与设计要点的层面，目前进展即止于这一方案被提出和说明。