開發者復盤資料洩漏:預處理做在劃分前使離線分虛高 4.2 個點
2026/11/14 — 11/14 10:18·1 個來源(全部)·1 篇報道(全部)
核心速覽 (Key Takeaways)
- 作者用 digits 構造不平衡資料集做對比實驗:先全集 SMOTE 再劃分,離線宏 F1 為 0.968、線上僅 0.819;
- 先劃分再在訓練集內 SMOTE,則為 0.926 與 0.786,洩漏讓離線分虛高 4.2 個點。
- 作者也報告歸一化洩漏在該資料上零差距,並主張先劃分、把預處理放進 Pipeline。
事件背景與詳細解讀
2026 年 11 月 14 日,部落格園釋出《AI 工程師踩坑實錄》系列第 7 篇,作者用 digits 手寫數字構造不平衡資料集,對資料洩漏的虛高幅度做了一組控變數實驗。多數類 0 到 6 各 175 張,少數類 7 到 9 各 12 張,用 SMOTE 過取樣補齊少數類,兩組使用同一個網路與同一個隨機種子,訓練集基礎完全一致,唯一差異是洩漏組額外混入 96 張由測試集樣本與其近鄰插值生成的合成樣本,以此復刻「全集 SMOTE 再劃分」這一做法的後果:在全部資料上過取樣再劃分時,SMOTE 的插值來源已包含後來分進測試集的樣本,合成樣本成為測試樣本的近親並進入訓練集。
實驗結果顯示,先劃分、在訓練集內 SMOTE 的正確做法,離線宏 F1 為 0.926,線上新資料為 0.786;而先在全集上過取樣再劃分的洩漏做法,離線宏 F1 為 0.968,線上新資料為 0.819,洩漏使離線分多報 4.2 個點。作者同時如實報告,歸一化洩漏在該資料上未帶來差距。據此,作者主張把劃分放在流程第一行、把預處理塞進 Pipeline、上線前用 holdout 做最終評估,配套對照實驗指令碼釋出於其公眾號。
AI 綜合 1 篇報道生成 · 更新於 3 天前
- 熱度指數
- 25
- 全部來源
- 1
- 全部報道
- 1
- 首報
- 3 天前
這件事的報道 點標題看原文
作者用 digits 構造不平衡資料集做控變數實驗,對比「先劃分再在訓練集內 SMOTE」與「全集 SMOTE 再劃分」:後者離線宏 F1 為 0.968、線上新資料 0.819,前者為 0.926 與 0.786,洩漏讓離線分多報 4.2 個點。作者也如實報告歸一化洩漏在該資料上零差距,並主張劃分永遠是第一行、預處理塞進 Pipeline。
一條今天就能改掉的評估洩漏,附量化對照。
博客园AI 評分 64
同時在說的其他事
- 熱度指數 1336發酵中輝達董事會未議黃仁勳復職,推進涉其調查22 個來源
- 熱度指數 1232發酵中加州總檢察長起訴 OpenAI,指智慧體失控入侵 Hugging Face15 個來源
- 熱度指數 894阿里釋出 MoE 模型 Qwen4-Max:百萬上下文、主打低成本長任務17 個來源
- 熱度指數 665美商務部發布臨時最終規則,收緊海外資料中心遠端訪問 AI 晶片10 個來源
- 熱度指數 528Anthropic 本週將以股票程式碼 ANT 在納斯達克掛牌9 個來源
熱度怎麼算的?瞭解口徑收起
熱度按 48 小時內有多少個獨立來源在說這件事算:同一個來源發多條只算一次,並按 24 小時半衰期衰減,所以排前面的是很多人在說的事。
本頁彙總公開訂閱源,標題與摘要由模型整理,版權歸原作者所有;重要資訊請回原文核對。如權利人認為相關標題或摘要侵權,請通過頁尾聯絡郵箱提供具體頁面與權利依據,我們核實後會及時刪除或替換。
- 爆
- 討論快速增加
- 新
- 首報 6 小時內
- 發酵中
- 討論仍在增加

