LLM 本地化部署1：安装 CUDA 环境

Mon, 25 Aug 2025 00:00:00 +0800

1. 安装 CUDA Toolkit

1.1. 检查 CUDA 支持

首先，确保你的 GPU 支持 CUDA

https://developer.nvidia.com/cuda-gpus

1.2. 在线安装（新版本）

https://developer.nvidia.com/cuda-downloads

# cu13.0
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install cuda-toolkit-13-0
sudo apt-get install -y cuda-drivers

注：最新版 cu13 存在非常非常多的兼容问题，大量第三方框架没有适配，不推荐安装。

1.3. 离线安装（旧版本）

https://developer.nvidia.com/cuda-toolkit-archive

1.3.1. 下载安装包

# cuda 12.9 (ubuntu24.04)
# pytorch 最新稳定版适配到 cu129
# https://pytorch.org/get-started/locally/
wget https://developer.download.nvidia.com/compute/cuda/12.9.1/local_installers/cuda_12.9.1_575.57.08_linux.run
sudo sh cuda_12.9.1_575.57.08_linux.run

# cuda 12.4
# cu124 兼容性最好，但只能在 ubuntu22.4 中安装
wget https://developer.download.nvidia.com/compute/cuda/12.4.1/local_installers/cuda_12.4.1_550.54.15_linux.run
sudo sh cuda_12.4.1_550.54.15_linux.run

注：若第一次安装失败，需重启后再安装。

1.3.2. 环境设置

# sudo vim /etc/profile
PATH=$PATH:/usr/local/cuda-12.9/bin
export PATH

1.3.3. 检查卸载

nvidia-smi
cuda-uninstaller
nvidia-uninstall

2. 安装 Container Toolkit

NVIDIA Container Toolkit 是一组库和实用程序，使用户能够构建和运行 GPU 加速的容器。它目前包括：

NVIDIA Container Runtime (nvidia-container-runtime)
NVIDIA Container Toolkit CLI (nvidia-ctk)
NVIDIA CDI Hooks (nvidia-cdi-hook)
NVIDIA Container Runtime Hook (nvidia-container-runtime-hook)
NVIDIA Container CLI (nvidia-container-cli)
NVIDIA Container Library (libnvidia-container1)

2.1. 安装 Docker

https://docs.docker.com/engine/install/ubuntu/

curl https://code.wangyan.cloud/wangyan/docker-compose/raw/branch/main/shell-script/docker-setup-ubuntu-aliyun.sh | bash

2.2. 安装 container-toolkit

https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit

2.3. 配置 Docker 运行时

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Cuda on 七三的小站

LLM 本地化部署1：安装 CUDA 环境

目录

1. 安装 CUDA Toolkit

1.1. 检查 CUDA 支持

1.2. 在线安装（新版本）

1.3. 离线安装（旧版本）

1.3.1. 下载安装包

1.3.2. 环境设置

1.3.3. 检查卸载

2. 安装 Container Toolkit

2.1. 安装 Docker

2.2. 安装 container-toolkit

2.3. 配置 Docker 运行时