Cómo instalar NVIDIA Container Toolkit en Debian 12

Debian 12, también conocido como Bookworm ya es la nueva versión testing de la clásica distribución Debian. Por desgracia Nvidia no da soporte a versiones testing para su Container Toolkit.

Nvidia Container Toolkit es la librería que proporciona el fabricante de GPUs para poder usar la tarjeta gráfica dentro de contenedores Docker.

La solución que he encontrado, aunque no aseguro que vaya a funcionar al 100%, es utilizar el paquete de Debian 11, la forma de instalarlo es la siguiente:

distribution=$(echo debian11) \
   && curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - \
   && curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

Una vez hemos instalado el toolkit podemos comprobar que los contenedores tienen acceso a las gráficas con el siguiente comando:

sudo docker run --rm --runtime=nvidia --gpus all nvidia/cuda:11.6.2-base-ubuntu20.04 nvidia-smi

La salida de este comando debería ser parecida a la que obtendríamos ejecutando

Por ahora me ha funcionado correctamente para ejecutar Stable Diffusion desde un contenedor, para muestra la imagen de este post.