1. 为什么在 CentOS 7 上装 CUDA 11.2 值得单独写一篇CentOS 7 这个系统版本做过深度学习环境部署的人对它感情都很复杂。它稳定、干净、服务器兼容性好很多单位的计算节点至今还跑着它但它的内核版本老、GCC 版本低、默认驱动仓库里的东西也旧装新一点的 CUDA 工具链时经常一路报错。CUDA 11.2 又是一个比较特殊的版本它横跨了从 Turing 到 Ampere 的显卡架构很多早期基于 PyTorch 1.7/1.8、TensorFlow 2.4 的项目都锁死在这个版本上所以直到现在还有大量存量环境需要复现它。这篇内容就是把我自己在 CentOS 7 上反复装 CUDA 11.2 的过程整理出来。它解决的核心问题是在一台干净的、可能连显卡驱动都没有的 CentOS 7 机器上从零把 NVIDIA 驱动和 CUDA 11.2 工具链装到能用并且让 PyTorch 之类的框架能正确识别显卡。适合谁看一是刚接手实验室或公司计算服务器、需要自己配环境的同学二是被nvidia-smi报错、nvcc找不到、驱动和 CUDA 版本打架折磨过的运维和算法工程师三是想搞清楚驱动版本、CUDA 版本、框架版本三者对应关系的人。我踩过的坑包括但不限于装完驱动重启后黑屏、nouveau没禁用导致驱动装不上、gcc版本太低编译失败、装完 CUDA 后nvcc -V显示的还是旧版本、以及最经典的——驱动装好了但 CUDA 装完把驱动又覆盖回旧版本。下面按我实际的操作顺序一步步拆开讲。2. 装之前必须搞清楚的版本对应关系2.1 驱动版本和 CUDA 版本的绑定逻辑很多人一上来就yum install cuda结果装完发现显卡用不了根本原因是没搞懂 NVIDIA 的版本规则。这里有个关键概念CUDA Toolkit 里自带一个驱动但这个驱动是最低要求驱动不是最新驱动。也就是说你装 CUDA 11.2 的时候它会顺带装一个满足 11.2 要求的最低版本驱动如果你之前装过更新的驱动这一步可能把你的驱动降级导致新显卡不认。CUDA 11.2 对应的最低驱动版本要求是这样的组件最低驱动版本说明CUDA 11.2 (Linux x86_64)460.27.04官方文档给出的最低要求推荐驱动版本460.32.03 及以上实测更稳兼容性更好支持的最高计算能力8.6 (Ampere)覆盖 RTX 30 系、A100 等这里要特别提醒驱动版本是向下兼容 CUDA 的但 CUDA 不向上兼容驱动。意思是你装一个 470 的驱动可以跑 CUDA 11.2但你装一个 450 的驱动就跑不了 CUDA 11.2。所以正确的顺序是先确定你要用的 CUDA 版本再根据它选一个等于或高于最低要求的驱动版本而不是反过来。2.2 显卡架构决定你能不能装还有一个前置判断你的显卡到底支不支持 CUDA 11.2。CUDA 11.2 支持的架构范围是 Kepler计算能力 3.5到 Ampere计算能力 8.6。如果你手里是更老的 Fermi 卡比如 GTX 480那 CUDA 11.2 是装不上的最高只能到 CUDA 8。判断方法很简单装驱动后用nvidia-smi看或者查显卡型号对应的计算能力。我一般会先跑一条命令确认显卡被系统识别到了lspci | grep -i nvidia如果这条命令什么都没输出那说明系统根本没认到卡先别急着装驱动去检查卡是不是插好了、BIOS 里有没有禁用独显、服务器是不是需要额外供电。这一步能省掉后面一大堆无用功。2.3 系统环境的前置检查清单在动手之前我会把下面这几项挨个确认一遍任何一项不满足都可能导致后面失败内核版本uname -rCentOS 7 一般是 3.10 系列够用。GCC 版本gcc --versionCUDA 11.2 要求 GCC 6 及以上CentOS 7 默认是 4.8.5这一项几乎必然要升级。内核头文件和开发工具kernel-devel、kernel-headers、gcc、make这些必须和当前内核版本匹配。SELinux 状态getenforce如果是 Enforcing装驱动时可能被拦建议临时设为 Permissive。磁盘空间CUDA 完整安装大概要 5-6 GB/usr/local和/tmp都要留够。是否装了 nouveau这是开源显卡驱动和 NVIDIA 官方驱动冲突必须禁用。提示GCC 版本这一项是 CentOS 7 上最容易翻车的地方。我建议在装 CUDA 之前就把 GCC 升到 7 或 8用devtoolset系列最省事后面会详细讲。3. 驱动安装从禁用 nouveau 到装好官方驱动3.1 禁用 nouveau 的完整操作nouveau 是 Linux 内核自带的 NVIDIA 开源驱动它会在系统启动时抢占显卡。如果不禁用你装官方驱动时会报 The Nouveau kernel driver is currently in use by your system 这类错误。禁用步骤我整理成下面这样第一步创建黑名单文件sudo vi /etc/modprobe.d/blacklist-nouveau.conf写入以下内容blacklist nouveau options nouveau modeset0第二步重建 initramfs 让配置生效sudo dracut --force第三步重启系统sudo reboot重启后验证是否禁用成功lsmod | grep nouveau如果这条命令没有任何输出说明 nouveau 已经被成功禁用。这一步没做干净后面装驱动 100% 失败我见过太多人卡在这里。3.2 安装编译依赖和内核头文件驱动安装需要编译内核模块所以编译工具链和内核头文件必须齐全。CentOS 7 上我一般这样装sudo yum install -y gcc gcc-c make kernel-devel-$(uname -r) kernel-headers-$(uname -r) dkms这里有个细节kernel-devel的版本必须和uname -r完全一致。如果你之前yum update过内核但没重启uname -r显示的是旧内核而yum装的是新内核的头文件两者对不上编译就会失败。解决办法是要么重启到新内核要么显式指定版本安装。装完后验证一下ls /usr/src/kernels/应该能看到一个和uname -r同名的目录。如果没有说明头文件没装对先解决这个再往下走。3.3 下载并安装 NVIDIA 官方驱动驱动我推荐从 NVIDIA 官网下载.run文件手动装而不是用yum仓库原因是手动装可控性更强出问题好排查。CUDA 11.2 我选的是 460.32.03 这个驱动版本。下载后先给执行权限chmod x NVIDIA-Linux-x86_64-460.32.03.run然后切换到纯文本模式再装这一步很关键。图形界面在跑的时候装驱动容易冲突导致装完黑屏。切换方法是sudo systemctl isolate multi-user.target或者直接sudo init 3。切过去之后用 root 或 sudo 执行sudo ./NVIDIA-Linux-x86_64-460.32.03.run安装过程中会有几个交互选项我的选择是是否安装 32 位兼容库选 No除非你确实需要跑 32 位程序。是否更新 X 配置选 Yes。是否注册 DKMS选 Yes这样内核升级后驱动能自动重编。装完后重启然后跑nvidia-smi如果能看到显卡型号、驱动版本、CUDA Version 那一栏显示 11.2说明驱动装好了。注意这里的 CUDA Version 指的是这个驱动最高支持的 CUDA 版本不代表你已经装了 CUDA 工具链这是很多人会混淆的点。3.4 驱动安装的常见坑我遇到过几次装完驱动重启后进不去系统的情况基本都是这几个原因一是 nouveau 没禁干净二是之前用yum装过nvidia相关包和手动装的驱动冲突需要先yum remove干净三是内核头文件版本不匹配。排查的时候可以看/var/log/nvidia-installer.log里面会写清楚失败在哪一步。还有一个隐蔽的坑如果服务器上有多张卡装驱动前最好确认所有卡型号一致混插不同架构的卡有时会导致驱动加载异常。4. CUDA 11.2 工具链的安装与配置4.1 选择 runfile 还是 rpm 安装CUDA 11.2 官方提供两种安装方式rpm包和runfile。我的建议是用 runfile原因有两个一是 runfile 不会自动帮你装驱动避免它把驱动降级二是 runfile 安装路径清晰卸载也方便直接跑卸载脚本就行。如果你用 rpm 方式它会尝试装一个它认为合适的驱动很可能把你刚装好的 460 驱动覆盖掉。所以我在 runfile 安装时会取消勾选 Driver 那一项只装 Toolkit。下载地址在 NVIDIA 官网的 CUDA Toolkit Archive 里找 11.2.0 版本选 Linux x86_64 runfile (local)。文件大概 2.5 GB下载完给执行权限chmod x cuda_11.2.0_460.27.04_linux.run4.2 runfile 安装的交互选项详解执行安装sudo ./cuda_11.2.0_460.27.04_linux.run会先解压然后进入一个文本界面。这里有几个关键选择Driver取消勾选。因为我们已经手动装了 460.32.03比它自带的 460.27.04 还新没必要装。CUDA Toolkit 11.2勾选。CUDA Samples 11.2可选建议勾上后面验证用得到。CUDA Demo Suite可不装。CUDA Documentation可不装。然后它会问 Toolkit 的安装路径默认是/usr/local/cuda-11.2我一般保持默认。它还会问是否创建/usr/local/cuda软链接选 Yes这样以后切换版本方便。安装完成后它会提示你 Please make sure that ... PATH ... LD_LIBRARY_PATH ... 需要配置环境变量。4.3 环境变量配置的正确姿势环境变量我建议写到/etc/profile.d/cuda.sh里这样对所有用户生效sudo vi /etc/profile.d/cuda.sh写入export CUDA_HOME/usr/local/cuda export PATH$CUDA_HOME/bin:$PATH export LD_LIBRARY_PATH$CUDA_HOME/lib64:$LD_LIBRARY_PATH然后source /etc/profile或者重新登录。验证nvcc -V应该输出类似 Cuda compilation tools, release 11.2, V11.2.152 的信息。如果显示的还是旧版本说明 PATH 里有别的 cuda 路径优先级更高用which nvcc查一下实际调用的是哪个。注意LD_LIBRARY_PATH这一项在有些系统上会被其他软件覆盖导致运行时找不到 CUDA 库。如果遇到libcudart.so找不到的报错先检查这个变量。4.4 用 deviceQuery 验证安装是否成功CUDA Samples 里有个deviceQuery工具是验证安装最直接的方式。编译并运行cd /usr/local/cuda-11.2/samples/1_Utilities/deviceQuery sudo make ./deviceQuery如果最后输出 Result PASS说明 CUDA 工具链和驱动配合正常显卡能被正确调用。这一步过了基本就稳了。5. GCC 版本升级与框架适配5.1 用 devtoolset 升级 GCC 到 8前面提过CentOS 7 默认 GCC 4.8.5 编译不了 CUDA 11.2 的部分组件。最省事的升级方式是用 SCL 源里的 devtoolsetsudo yum install -y centos-release-scl sudo yum install -y devtoolset-8启用scl enable devtoolset-8 bash这样当前 shell 里的gcc就变成 8 了。如果想永久生效可以把source /opt/rh/devtoolset-8/enable加到.bashrc里。验证gcc --version5.2 让 CUDA 编译时用对 GCC有时候 CUDA 的nvcc会固执地去找/usr/bin/gcc也就是 4.8.5 那个。可以在编译时显式指定nvcc -ccbin /opt/rh/devtoolset-8/root/usr/bin/gcc ...或者在~/.bashrc里加一个软链接把默认 gcc 指向新版。我一般用-ccbin参数不动系统默认更安全。5.3 PyTorch 等框架的版本匹配CUDA 11.2 装好后装 PyTorch 要选对应 cu112 的版本。比如pip install torch1.8.1cu112 torchvision0.9.1cu112 -f https://download.pytorch.org/whl/torch_stable.html装完验证import torch print(torch.cuda.is_available()) print(torch.version.cuda)如果is_available()返回 Trueversion.cuda显示 11.2那就大功告成。如果返回 False八成是驱动和 CUDA 版本不匹配或者LD_LIBRARY_PATH没配好。6. 常见问题速查与避坑经验6.1 典型报错与解决对照表报错信息根本原因解决办法Nouveau kernel driver is currently in usenouveau 未禁用按 3.1 节禁用并重启Unable to find the kernel source tree内核头文件缺失或版本不符装对应uname -r的 kernel-develnvcc: command not foundPATH 未配置配置/etc/profile.d/cuda.shlibcudart.so.11.0: cannot open shared object fileLD_LIBRARY_PATH 未生效检查并重新 source 环境变量torch.cuda.is_available() False驱动/CUDA/框架版本不匹配核对三者版本对应关系装完驱动重启黑屏图形界面冲突或 nouveau 残留进单用户模式卸载重装6.2 我踩过的几个真实坑第一个坑是驱动和 CUDA 装反顺序。我第一次装的时候先装了 CUDA它自带驱动把系统驱动覆盖了结果nvidia-smi报版本不匹配。后来改成先装驱动、再装 CUDA 且取消驱动勾选就顺了。第二个坑是内核自动更新。CentOS 7 默认会yum update内核更新后重启驱动因为内核模块没重编而失效。解决办法是装 DKMS或者干脆禁用内核自动更新把yum.conf里加上excludekernel*。第三个坑是多版本 CUDA 共存时的软链接混乱。机器上如果之前装过 CUDA 10/usr/local/cuda可能还指向旧版本。装完 11.2 后要确认软链接指向正确ls -l /usr/local/cuda如果不是指向cuda-11.2手动改sudo rm /usr/local/cuda sudo ln -s /usr/local/cuda-11.2 /usr/local/cuda6.3 卸载与重装的干净做法如果装崩了想重来卸载顺序很重要。先卸 CUDAsudo /usr/local/cuda-11.2/bin/cuda-uninstaller再卸驱动sudo /usr/bin/nvidia-uninstall然后清理残留sudo yum remove nvidia-* sudo rm -rf /usr/local/cuda*重启后再按流程重装。不要跳过清理直接重装残留的库文件会导致各种诡异问题。7. 一些让环境更稳的收尾建议装完这一套之后我习惯做几件事让环境更耐用。一是把整个安装过程的关键命令记成一个脚本下次换机器直接跑省得重新回忆二是给/usr/local/cuda的软链接做个备注方便以后升级到 11.3、11.4 时切换三是定期用nvidia-smi看显卡温度和显存占用服务器上多卡跑任务时显存泄漏是常见问题早发现早处理。另外如果你的机器是多人共用的建议把 CUDA 环境变量配成全局的并且给每个用户说明清楚版本避免有人装框架时装错 cu 版本。我见过因为两个人装了不同 CUDA 版本的 PyTorch导致互相覆盖、谁也跑不起来的场面最后只能各自用虚拟环境隔离。最后分享一个小技巧验证环境是否真的可用别只看nvidia-smi一定要跑一次实际的 GPU 计算。我一般用一段最简单的矩阵乘法import torch a torch.randn(1000, 1000).cuda() b torch.randn(1000, 1000).cuda() c torch.mm(a, b) print(c.sum())能跑出结果才算真的通了。这一步能同时验证驱动、CUDA 运行时、框架三层是否都正常比任何单点检查都靠谱。