180 次呼叫對比 Claude 與 GPT：單次測試不可靠

2026 年 10 月 28 日，一位開發者在 DEV Community 上釋出了一篇對比測試文章，主題是 Claude 與 GPT 系列的對比。測試覆蓋 3 個模型、12 項任務，每項任務重複 5 次，累計 180 次呼叫。單次呼叫成本在 0.0033 至 0.0265 美元之間。

這位開發者提出的核心觀點是：單次執行不足以證明模型穩定。一個在 3 次測試請求中沒有出錯的模型，並不能被視為已經得到驗證，只能說明錯誤尚未被注意到。因此他把測試思路反過來做，不再反覆嘗試不同模型，而是把同一道題重複提問，最終通過 180 次呼叫觀察到了被單次執行結果掩蓋的規律。目前這篇對比測試的公開記錄停留在該次測試的結論上，作者據此主張評估模型時應多次運行同一任務，而非依賴單次結果。