Amazon SageMaker HyperPod 引入靜默資料損壞檢測與自動恢復機制

2026 年 11 月 12 日，AWS Machine Learning Blog 發文宣佈，AWS 團隊在 SageMaker HyperPod 上推出了一套靜默資料損壞檢測與自動恢復方案。該方案面向 PyTorch DDP 訓練迴圈，靜默資料損壞被描述為一種 GPU 故障：它會返回數值錯誤卻看似合理的結果，且不報任何錯誤，從而悄悄汙染分散式訓練過程。

具體實現上，這套方案在 PyTorch DDP 迴圈中加入三個檢查步驟，用於即時捕獲 GPU 返回的錯誤計算結果，進而定位 Amazon SageMaker HyperPod 上的故障節點，並將該節點交給自動恢復機制進行替換。目前介紹材料僅此一篇，該方案已隨博文公開，未見後續進展報道。