Docker 内跑 AI 推理：GPU 直通与资源限制配置指南

2026 年 11 月 10 日，DEV Community 的 AI 板块发布了一篇实践指南，题为《在 Docker 里跑 AI 推理：GPU 直通与资源限制怎么配》。文章针对受限硬件环境，解释容器如何借助 NVIDIA Container Toolkit 与宿主机的 GPU 通信：容器镜像本身并不打包内核驱动，而是由运行时在启动时把宿主机的驱动库和设备节点注入容器内。

文中还给出了向 Docker 注册该运行时并重启守护进程的具体配置步骤。文章指出，容器无法在没有驱动支持的情况下访问 PCIe 设备，NVIDIA Container Toolkit 通过一个具备硬件感知能力的运行时 nvidia-container-runtime 对标准运行时进行封装来提供这种支持，并配有示意图（FIG 1）。

此外，文章提到在容器中跑 AI 负载失败的一个主要原因，在于容器隔离命名空间与宿主机硬件之间的边界：直接用 CPU 跑推理会造成明显的延迟瓶颈，而要把 GPU 或加速器暴露给容器，需要对宿主机做专门的设置。目前公开的报道仅此一篇，该话题暂无更多可核对的后续进展。