CodeSmith 架構復盤：一行 system prompt 因字首快取放大 100 倍成本

2026 年 10 月 4 日，DEV Community 的 AI 欄目發表了一篇題為《CodeSmith 節儉架構：單位元組 100 倍成本的由來》的文章，討論自研 AI 編碼工具 CodeSmith 的架構問題。文章以 CodeSmith v0.5.0（commit 3a74c82f）為基準版本，說明文中的路徑都相對於倉庫根目錄，行號也對應這一版本。

文章的核心案例是 system prompt 裡被加進去的一行文字：由於 prefix caching 的作用，這一行文字最終帶來了 100 倍的價格。文章開頭用一則小故事引入，目標讀者被描述為已經為 LLM 應用做過 token 核算、但沒有認真想過字首快取會如何重塑架構的人。

就目前收到的材料看，這件事停在這篇文章本身：沒有 CodeSmith 團隊的回應，也沒有關於程式碼修改、成本資料更正或後續版本的報道，文章之外的具體金額、token 數量和修復方式在材料中均未出現。