在 Ubuntu 系统上部署和运行大模型(LLM)时,硬件性能只是基础,操作系统的底层配置往往决定了能否充分发挥 GPU 算力以及系统的稳定性。
以下是针对 GPU 服务器跑大模型的 Ubuntu 系统优化配置指南,分为 必做项、进阶优化 和 避坑指南。
一、 核心必做项(基础环境搭建)
1. 更新内核与驱动
大模型推理/训练对 CUDA 版本敏感,且新内核通常包含更好的 NVLink 支持和电源管理修复。
# 更新系统包
sudo apt update && sudo apt upgrade -y
# 安装最新 LTS 内核(推荐 5.15+ 或 6.x,视 NVIDIA 驱动兼容性而定)
sudo apt install linux-generic-hwe-22.04 # 以 Ubuntu 22.04 为例
2. 安装 NVIDIA 驱动与 CUDA Toolkit
不要使用 apt 安装驱动,务必去 NVIDIA 官网 下载 .run 文件或添加官方 PPA 源安装,以确保获得最新特性支持。
# 添加 NVIDIA 仓库并安装驱动(示例命令,具体版本号需查官网)
sudo add-apt-repository ppa:graphics-drivers/ppa
sudo apt update
sudo apt install nvidia-driver-535 # 建议安装长期支持版或最新稳定版
# 验证驱动
nvidia-smi
注意:如果后续需要安装特定版本的 CUDA(如 11.8, 12.1),建议通过 NVIDIA Container Toolkit 或 Conda 隔离环境,避免系统级 CUDA 冲突。
3. 禁用图形界面(Headless Mode)
GPU 服务器通常不接显示器。GUI 会占用 VRAM 和 CPU 资源,并可能导致 X Server 崩溃影响计算任务。
# 切换为多用户文本模式
sudo systemctl set-default multi-user.target
sudo reboot
# 如果必须保留 GUI,确保桌面环境不占用 GPU 提速(设置环境变量)
export __GLX_VENDOR_LIBRARY_NAME=nvidia
4. 安装必要工具
sudo apt install build-essential git curl wget htop iotop nvtop
二、 系统级深度优化
1. 调整 Swap 和 Overcommit 内存策略
大模型加载时可能瞬间占用大量内存。默认情况下,Linux 的 vm.overcommit_memory 设置为 0,可能导致 OOM(Out of Memory)错误。
# 编辑 sysctl 配置
sudo nano /etc/sysctl.conf
# 添加以下行:
vm.swappiness=10 # 减少 swap 使用,优先使用物理内存
vm.overcommit_memory=1 # 允许所有内存申请(防止 mmap 失败导致的启动错误)
vm.max_map_count=262144 # 增加进程可映射的内存区域数量(某些框架如 PyTorch/Dask 需要)
# 生效
sudo sysctl -p
2. 关闭节能模式(Performance Mode)
GPU 默认处于动态功耗管理状态,可能导致频率波动影响训练稳定性。强制锁定高性能模式。
# 查看当前电源模式
nvidia-smi pstat
# 设置为 Performance Mode(需要 root 权限)
sudo nvidia-smi -pm ENABLED
sudo nvidia-smi -pl 350 # 可选:限制功耗上限,防止过热降频(根据显卡型号调整)
3. 优化 NUMA 绑定
对于多路 CPU + 多 GPU 服务器,数据从 CPU 内存传输到 GPU 显存时,跨 NUMA 节点会导致带宽减半、延迟增加。
# 安装 numactl
sudo apt install numactl
# 运行程序时绑定到本地 NUMA 节点
numactl --cpunodebind=0 --membind=0 python train.py
提示:可以使用 numastat 监控 NUMA 平衡情况。
4. 文件系统和 I/O 优化
大模型数据集读取是 IO 瓶颈。建议使用 ext4 或 XFS 文件系统,并启用异步 I/O。
# 检查磁盘挂载选项
mount | grep /data
# 如果是 ext4,确保启用了 noatime 以减少元数据写入开销
# 在 /etc/fstab 中添加 noatime,nodiratime
5. 网络优化(分布式训练必备)
如果使用 NCCL 进行多卡/多机通信:
# 禁用 IPv6(有时会导致 NCCL 初始化缓慢)
sudo sysctl -w net.ipv6.conf.all.disable_ipv6=1
sudo sysctl -w net.ipv6.conf.default.disable_ipv6=1
# 增大 TCP 缓冲区(适合高带宽低延迟网络)
sudo sysctl -w net.core.rmem_max=16777216
sudo sysctl -w net.core.wmem_max=16777216
三、 Docker & Kubernetes 环境优化(如需容器化)
如果你使用 Docker 运行 LLM 服务(如 vLLM, TGI, Ollama):
-
安装 NVIDIA Container Toolkit
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list sudo apt-get update sudo apt-get install -y nvidia-container-toolkit sudo nvidia-ctk runtime configure --runtime=docker sudo systemctl restart docker -
Docker 运行时参数
启动容器时添加:docker run --gpus all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 ...--ipc=host: 共享主机 IPC 命名空间,提升进程间通信效率。--ulimit memlock=-1: 解除内存锁限制,防止 PyTorch/CUDA 分配内存失败。
四、 监控与维护脚本
1. 实时监控 GPU 状态
推荐使用 nvtop 或 dcgm-exporter(用于 Prometheus 监控)。
sudo apt install nvtop
nvtop
2. 自动清理僵尸进程
长时间运行的训练任务容易留下僵尸进程。
# 创建 cron 任务每周清理
crontab -e
# 添加:0 3 * * 0 /usr/bin/find /tmp -type f -mmin +10080 -delete
3. 日志轮转
防止 /var/log 撑爆磁盘。
sudo apt install logrotate
# 检查 /etc/logrotate.d/ 下是否有相关配置
五、 常见避坑指南
| 问题现象 | 可能原因 | 解决方案 |
|---|---|---|
CUDA out of memory |
实际未满,但 PyTorch 缓存机制导致 | 使用 torch.cuda.empty_cache();设置 PYTORCH_CUDA_ALLOC_CONF=expandable_segments:True (PyTorch 2.0+) |
| NCCL 初始化超时 | 防火墙或网络配置问题 | 检查 nccl_debug 变量;确保所有节点间 SSH 免密登录;禁用 IPv6 |
| GPU 频率过低 | 电源管理策略 | 执行 nvidia-smi -pm ENABLED;检查 BIOS 中是否开启了 “Power Saving” 模式 |
| 训练速度忽快忽慢 | CPU/GPU 数据搬运瓶颈 | 使用 numactl 绑定;增加 DataLoader 的 num_workers;使用 SSD/NVMe |
| 重启后驱动丢失 | Secure Boot 开启 | 进入 BIOS 关闭 Secure Boot,或手动签名 NVIDIA 模块 |
六、 一键检查脚本(参考)
你可以将以下内容保存为 check_gpu_server.sh 并运行:
#!/bin/bash
echo "=== System Info ==="
uname -a
cat /etc/os-release | grep PRETTY_NAME
echo -e "n=== GPU Status ==="
nvidia-smi -q | head -n 20
echo -e "n=== CUDA Version ==="
nvcc --version 2>/dev/null || echo "nvcc not found"
echo -e "n=== Memory Settings ==="
sysctl vm.overcommit_memory
sysctl vm.swappiness
echo -e "n=== Open Files Limit ==="
ulimit -n
echo -e "n=== Numactl Available ==="
which numactl
echo -e "n=== Docker Runtime ==="
docker info | grep -i nvidia
通过以上配置,你的 Ubuntu GPU 服务器将具备更高的稳定性、更低的延迟和更充分的硬件利用率,为大模型的训练和推理提供坚实基础。
云服务器