Docker 內跑 AI 推理：GPU 直通與資源限制配置指南

2026 年 11 月 10 日，DEV Community 的 AI 板塊釋出了一篇實踐指南，題為《在 Docker 裡跑 AI 推理：GPU 直通與資源限制怎麼配》。文章針對受限硬體環境，解釋容器如何藉助 NVIDIA Container Toolkit 與宿主機的 GPU 通訊：容器映象本身並不打包核心驅動，而是由執行時在啟動時把宿主機的驅動庫和裝置節點注入容器內。

文中還給出了向 Docker 註冊該執行時並重啟守護程序的具體配置步驟。文章指出，容器無法在沒有驅動支援的情況下訪問 PCIe 裝置，NVIDIA Container Toolkit 通過一個具備硬體感知能力的執行時 nvidia-container-runtime 對標準執行時進行封裝來提供這種支援，並配有示意圖（FIG 1）。

此外，文章提到在容器中跑 AI 負載失敗的一個主要原因，在於容器隔離名稱空間與宿主機硬體之間的邊界：直接用 CPU 跑推理會造成明顯的延遲瓶頸，而要把 GPU 或加速器暴露給容器，需要對宿主機做專門的設定。目前公開的報道僅此一篇，該話題暫無更多可核對的後續進展。