用 Redis 預留 token 取代按請求數限流

2026 年 10 月 3 日，DEV Community 上的一篇文章提出，用按 token 預留額度的方式取代按請求數限流，來解決 LLM 成本失控的問題。文章給出的理由是，一次請求的代價差異極大：它可能只是一句提問，也可能觸發一次 Agent 任務，跑十幾輪模型呼叫，而且每一輪重新發送的上下文都比上一輪更長。按請求數限流會把這兩種情況同樣算作一次，因此管不住實際開銷。

文章認為，看似直接的做法是等每次響應結束後再統計 token 用量，但這條路走不通：併發請求在呼叫前都會看到自己「未超限」，於是全部放行，限流形同虛設。作者提出的規則是限制 token 本身，在呼叫之前先按估算預留一部分額度，呼叫完成之後再按實際用量修正這筆記賬。

圍繞這條規則，文章還列出了需要交代的幾個問題：到底統計什麼、在什麼時間點統計、以及計數器應該放在哪裡。原文沒有給出具體實現程式碼或某一款產品的落地結果，只停留在規則與設計要點的層面，目前進展即止於這一方案被提出和說明。