35 位物理學家用未發表手稿考 GPT-6 Astra，答對 49/50

2026 年 10 月 26 日，掘金髮布報道稱，一個由 35 位物理學家組成的團隊公佈了 TheoPhysEval，這是一套由 50 道科研級物理題構成的基準測試。所有題目均來自出題者本人未發表的研究手稿：做法是把研究者近期論文裡的計算改幾個數值，並把最終答案統一轉為高精度浮點數，同時在題目中加入若干對結果無影響的冗餘引數。研究者稱，這樣答案就無法靠公開題庫或訓練語料命中，跳過推導步驟直接猜數值就會出錯。出題人分佈在 ICTS、哈佛大學、KU Leuven、Google DeepMind、TIFR、東京大學、UT Austin 等機構，團隊估算該方向頂尖專家不借助 AI 獨立解一道典型題約需一天。

據該報道，GPT-6 Astra 在 Codex 環境中作答，答對 49 道，單題成本約 2.3 美元。部分題目複核後發現參考答案本身有誤，成績因此從 88% 修正至 98%。50 道題橫跨 11 個理論物理子領域，涵蓋量子場論、AdS/CFT、黑洞資訊悖論、流體動力學、生物分子過程、粒子物理、宇宙學等。報道將這類任務稱為 turn-the-crank，即過去通常由博士生在第一年完成的改引數重算工作，並指出出題團隊已明確把尚無已知解法的前沿開放問題擋在門外，因此該基準測的是給定框架與引數時的計算執行力，不能用來判斷 AI 能否提出新物理或突破 AdS 視界熵邊界。斷網測試中，GPT-6 Astra 關閉搜尋後答對 46 道，準確率幾乎未下降，報道據此認為模型主要依靠權重中的記憶而非搜尋作答。目前公開資訊僅此一篇報道，後續進展暫無更新。