奋斗
努力

在GPU服务器上跑大模型,Ubuntu系统需要做哪些优化配置?

云计算

在 Ubuntu 系统上部署和运行大模型(LLM)时,硬件性能只是基础,操作系统的底层配置往往决定了能否充分发挥 GPU 算力以及系统的稳定性。

以下是针对 GPU 服务器跑大模型的 Ubuntu 系统优化配置指南,分为 必做项、进阶优化 和 避坑指南。


一、 核心必做项(基础环境搭建)

1. 更新内核与驱动

大模型推理/训练对 CUDA 版本敏感,且新内核通常包含更好的 NVLink 支持和电源管理修复。

# 更新系统包
sudo apt update && sudo apt upgrade -y

# 安装最新 LTS 内核(推荐 5.15+ 或 6.x,视 NVIDIA 驱动兼容性而定)
sudo apt install linux-generic-hwe-22.04  # 以 Ubuntu 22.04 为例

2. 安装 NVIDIA 驱动与 CUDA Toolkit

不要使用 apt 安装驱动,务必去 NVIDIA 官网 下载 .run 文件或添加官方 PPA 源安装,以确保获得最新特性支持。

# 添加 NVIDIA 仓库并安装驱动(示例命令,具体版本号需查官网)
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-driver-535  # 建议安装长期支持版或最新稳定版

# 验证驱动
nvidia-smi

注意:如果后续需要安装特定版本的 CUDA(如 11.8, 12.1),建议通过 NVIDIA Container Toolkit 或 Conda 隔离环境,避免系统级 CUDA 冲突。

3. 禁用图形界面(Headless Mode)

GPU 服务器通常不接显示器。GUI 会占用 VRAM 和 CPU 资源,并可能导致 X Server 崩溃影响计算任务。

# 切换为多用户文本模式
sudo systemctl set-default multi-user.target
sudo reboot

# 如果必须保留 GUI,确保桌面环境不占用 GPU 提速(设置环境变量)
export __GLX_VENDOR_LIBRARY_NAME=nvidia

4. 安装必要工具

sudo apt install build-essential git curl wget htop iotop nvtop

二、 系统级深度优化

1. 调整 Swap 和 Overcommit 内存策略

大模型加载时可能瞬间占用大量内存。默认情况下,Linux 的 vm.overcommit_memory 设置为 0,可能导致 OOM(Out of Memory)错误。

# 编辑 sysctl 配置
sudo nano /etc/sysctl.conf

# 添加以下行:
vm.swappiness=10          # 减少 swap 使用,优先使用物理内存
vm.overcommit_memory=1    # 允许所有内存申请(防止 mmap 失败导致的启动错误)
vm.max_map_count=262144   # 增加进程可映射的内存区域数量(某些框架如 PyTorch/Dask 需要)

# 生效
sudo sysctl -p

2. 关闭节能模式(Performance Mode)

GPU 默认处于动态功耗管理状态,可能导致频率波动影响训练稳定性。强制锁定高性能模式。

# 查看当前电源模式
nvidia-smi pstat

# 设置为 Performance Mode(需要 root 权限)
sudo nvidia-smi -pm ENABLED
sudo nvidia-smi -pl 350  # 可选:限制功耗上限,防止过热降频(根据显卡型号调整)

3. 优化 NUMA 绑定

对于多路 CPU + 多 GPU 服务器,数据从 CPU 内存传输到 GPU 显存时,跨 NUMA 节点会导致带宽减半、延迟增加。

# 安装 numactl
sudo apt install numactl

# 运行程序时绑定到本地 NUMA 节点
numactl --cpunodebind=0 --membind=0 python train.py

提示:可以使用 numastat 监控 NUMA 平衡情况。

4. 文件系统和 I/O 优化

大模型数据集读取是 IO 瓶颈。建议使用 ext4 或 XFS 文件系统,并启用异步 I/O。

# 检查磁盘挂载选项
mount | grep /data

# 如果是 ext4,确保启用了 noatime 以减少元数据写入开销
# 在 /etc/fstab 中添加 noatime,nodiratime

5. 网络优化(分布式训练必备)

如果使用 NCCL 进行多卡/多机通信:

# 禁用 IPv6(有时会导致 NCCL 初始化缓慢)
sudo sysctl -w net.ipv6.conf.all.disable_ipv6=1
sudo sysctl -w net.ipv6.conf.default.disable_ipv6=1

# 增大 TCP 缓冲区(适合高带宽低延迟网络)
sudo sysctl -w net.core.rmem_max=16777216
sudo sysctl -w net.core.wmem_max=16777216

三、 Docker & Kubernetes 环境优化(如需容器化)

如果你使用 Docker 运行 LLM 服务(如 vLLM, TGI, Ollama):

  1. 安装 NVIDIA Container Toolkit

    distribution=$(. /etc/os-release;echo $ID$VERSION_ID)
    curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
    curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | 
      sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | 
      sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
    sudo apt-get update
    sudo apt-get install -y nvidia-container-toolkit
    sudo nvidia-ctk runtime configure --runtime=docker
    sudo systemctl restart docker
  2. Docker 运行时参数
    启动容器时添加:

    docker run --gpus all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 ...
    • --ipc=host: 共享主机 IPC 命名空间,提升进程间通信效率。
    • --ulimit memlock=-1: 解除内存锁限制,防止 PyTorch/CUDA 分配内存失败。

四、 监控与维护脚本

1. 实时监控 GPU 状态

推荐使用 nvtop 或 dcgm-exporter(用于 Prometheus 监控)。

sudo apt install nvtop
nvtop

2. 自动清理僵尸进程

长时间运行的训练任务容易留下僵尸进程。

# 创建 cron 任务每周清理
crontab -e
# 添加:0 3 * * 0 /usr/bin/find /tmp -type f -mmin +10080 -delete

3. 日志轮转

防止 /var/log 撑爆磁盘。

sudo apt install logrotate
# 检查 /etc/logrotate.d/ 下是否有相关配置

五、 常见避坑指南

问题现象 可能原因 解决方案
CUDA out of memory 实际未满,但 PyTorch 缓存机制导致 使用 torch.cuda.empty_cache();设置 PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True (PyTorch 2.0+)
NCCL 初始化超时 防火墙或网络配置问题 检查 nccl_debug 变量;确保所有节点间 SSH 免密登录;禁用 IPv6
GPU 频率过低 电源管理策略 执行 nvidia-smi -pm ENABLED;检查 BIOS 中是否开启了 “Power Saving” 模式
训练速度忽快忽慢 CPU/GPU 数据搬运瓶颈 使用 numactl 绑定;增加 DataLoader 的 num_workers;使用 SSD/NVMe
重启后驱动丢失 Secure Boot 开启 进入 BIOS 关闭 Secure Boot,或手动签名 NVIDIA 模块

六、 一键检查脚本(参考)

你可以将以下内容保存为 check_gpu_server.sh 并运行:

#!/bin/bash
echo "=== System Info ==="
uname -a
cat /etc/os-release | grep PRETTY_NAME

echo -e "n=== GPU Status ==="
nvidia-smi -q | head -n 20

echo -e "n=== CUDA Version ==="
nvcc --version 2>/dev/null || echo "nvcc not found"

echo -e "n=== Memory Settings ==="
sysctl vm.overcommit_memory
sysctl vm.swappiness

echo -e "n=== Open Files Limit ==="
ulimit -n

echo -e "n=== Numactl Available ==="
which numactl

echo -e "n=== Docker Runtime ==="
docker info | grep -i nvidia

通过以上配置,你的 Ubuntu GPU 服务器将具备更高的稳定性、更低的延迟和更充分的硬件利用率,为大模型的训练和推理提供坚实基础。

未经允许不得转载:云服务器 » 在GPU服务器上跑大模型,Ubuntu系统需要做哪些优化配置?