CentOS 7 离线安装 NVIDIA 驱动与 CUDA 的 runfile 实战指南

1. 为什么在 CentOS 7 上折腾 CUDA 和 GPU 驱动值得单独写一篇

在 Linux 服务器上装显卡驱动和 CUDA，看起来是个老生常谈的话题，但真正动手做过的人都知道，这件事的坑远比想象中多。尤其是 CentOS 7 这个系统，虽然官方已经停止维护，但大量企业内网、实验室集群、离线机房里的机器还跑着它，短期内根本换不掉。而 CUDA 和 GPU 驱动又是深度学习训练、科学计算、视频转码这些场景的刚需，绕不过去。

我前后在十几台 CentOS 7 机器上装过 CUDA 和 GPU 驱动，从最早的 CUDA 9 到后来的 CUDA 11.x，踩过的坑包括但不限于：装完驱动进不了图形界面、内核模块编译失败、nouveau 驱动没禁用干净导致安装程序直接报错、runfile 安装完 nvidia-smi 找不到设备、重启后驱动莫名其妙失效等等。这些问题在官方文档里往往只有一句话带过，但实际操作时能卡你半天。

这篇内容就是把这些年积累的经验完整梳理一遍。核心聚焦在runfile 方式安装，也就是从 NVIDIA 官方下载.run文件手动安装，而不是用 yum 源或者包管理器。为什么选 runfile？因为 CentOS 7 的 yum 源里驱动版本往往很旧，而且和 CUDA 版本的对应关系经常对不上；runfile 方式虽然步骤多一些，但版本控制完全由自己掌握，离线环境也能用，装完之后排查问题也更直观。

适合谁来参考？如果你手头有一台 CentOS 7 的机器，带 NVIDIA 显卡，需要跑 CUDA 相关的任务，不管是刚接触 Linux 的新手还是有一定经验的运维，这篇内容都能给你一套可以直接照着走的流程。我会把每一步的操作意图、参数选择理由、可能遇到的报错和应对方法都讲清楚，尽量让你少走弯路。

2. 动手之前的整体思路与方案选型

2.1 为什么是 runfile 而不是 yum 或 dnf

CentOS 7 默认的包管理器是 yum，NVIDIA 也提供了对应的 CUDA 仓库，理论上yum install cuda就能搞定。但实际用下来，yum 方式有几个让人头疼的地方。

第一是版本滞后。CentOS 7 的 EPEL 或者 NVIDIA 官方 yum 源里，CUDA 版本更新往往比官方 runfile 慢一拍，有时候你想用某个特定版本的 CUDA（比如某个框架只兼容 CUDA 11.3），yum 源里偏偏没有。第二是依赖冲突，yum 安装驱动时会自动拉取一堆依赖，有时候会把系统里已有的图形库或者内核模块搞乱，尤其是在已经有图形界面的机器上，装完重启直接黑屏的概率不低。第三是离线环境不友好，很多内网机器没有外网，yum 源根本用不了，而 runfile 可以提前下载好拷贝进去。

runfile 方式的核心优势就是可控。驱动版本、CUDA 版本、安装路径、是否安装图形界面组件，全都可以在安装时通过参数指定。而且 runfile 自带卸载功能，装砸了可以干净地卸掉重来，不会在系统里留下一堆包管理器的残留。

当然 runfile 也有代价：需要手动处理 nouveau 驱动禁用、需要确保内核头文件和编译器就位、安装过程中要盯着终端输出。但这些都是一次性的准备工作，做完之后安装过程其实很快。

2.2 驱动版本和 CUDA 版本怎么搭配

这是很多人容易搞混的地方。NVIDIA 的 GPU 驱动和 CUDA Toolkit 是两个独立的东西，但之间有版本对应关系。简单说，驱动版本决定了你最高能跑哪个版本的 CUDA，而 CUDA Toolkit 里自带的驱动版本往往不是最新的。

举个例子，CUDA 11.8 要求驱动版本至少是 520 系列，如果你机器上装的是 470 系列的驱动，那 CUDA 11.8 就跑不起来。反过来，高版本驱动可以兼容低版本 CUDA，比如 525 驱动跑 CUDA 11.0 完全没问题。

我的建议是：先确定你要用的深度学习框架或者计算库需要哪个 CUDA 版本，然后去查这个 CUDA 版本对应的最低驱动版本，最后选一个比最低要求稍高一点的驱动版本。比如你需要 CUDA 11.3，最低驱动是 465，那你可以装 470 或者 515 系列的驱动，留一点余量。

具体查法很简单，NVIDIA 官方有一个 CUDA Toolkit 和驱动版本的对应表，搜一下就能找到。或者更直接的办法是，下载 CUDA runfile 的时候，安装程序会告诉你当前驱动版本是否满足要求。

2.3 安装前的系统状态检查清单

在动手之前，有几项系统状态必须确认清楚，否则安装过程中大概率会卡住。

• 显卡型号确认：用lspci | grep -i nvidia看一下系统识别到的 NVIDIA 设备。如果这条命令没有任何输出，说明显卡没插好或者系统根本没认到，后面的事都不用谈了。
• 系统版本和内核版本：cat /etc/redhat-release确认是 CentOS 7，uname -r记下内核版本号。后面装内核头文件的时候要用到这个版本号。
• GCC 版本：gcc --version看一下。CUDA 对 GCC 版本有要求，太新的 GCC 可能编译不过，太旧的也不行。CentOS 7 默认的 GCC 4.8.5 一般够用，但如果你的 CUDA 版本比较新，可能需要升级到 GCC 7 或 8。
• 磁盘空间：CUDA Toolkit 完整安装大概需要 5 到 7 GB，加上驱动和临时文件，建议根分区至少留 10 GB 空闲。df -h看一眼。
• 是否已安装旧驱动：nvidia-smi如果能看到输出，说明已经有驱动了。这时候要么先卸载旧驱动，要么在安装新驱动时选择覆盖。rpm -qa | grep nvidia和rpm -qa | grep cuda可以查有没有通过包管理器装过的版本。

注意：如果机器上有正在跑的 GPU 任务，安装驱动前一定要停掉，驱动安装过程中会卸载内核模块，正在使用 GPU 的进程会直接崩掉。

3. 核心细节解析与实操要点

3.1 禁用 nouveau 驱动：这一步不能省

nouveau 是 Linux 内核自带的开源 NVIDIA 驱动，虽然它能让你在装官方驱动之前有个基本的显示输出，但它和 NVIDIA 官方驱动是互斥的。如果不禁用，runfile 安装程序会直接报错退出，提示你 nouveau 正在使用中。

禁用方法分两步。第一步是创建配置文件：

sudo vi /etc/modprobe.d/blacklist-nouveau.conf

写入以下内容：

blacklist nouveau options nouveau modeset=0

第一行是让内核不再自动加载 nouveau 模块，第二行是禁用它的内核模式设置。第二步是重建 initramfs 并重启：

sudo dracut --force sudo reboot

重启之后，用lsmod | grep nouveau检查一下，如果没有任何输出，说明禁用成功。如果还有输出，检查一下配置文件路径和内容是否正确，有时候 SELinux 会阻止配置生效，可以临时把 SELinux 设为 permissive 再试。

实操心得：有些机器上除了/etc/modprobe.d/下的配置，还需要检查/lib/modprobe.d/目录，某些系统镜像会把默认配置放在那里。两个地方都确认一遍比较稳妥。

3.2 安装编译依赖和内核头文件

runfile 安装驱动的时候，需要现场编译内核模块，所以必须要有内核头文件和编译器。CentOS 7 上执行：

sudo yum install -y gcc gcc-c++ make kernel-devel-$(uname -r) kernel-headers-$(uname -r) dkms

这里有几个细节要注意。kernel-devel和kernel-headers的版本必须和当前运行的内核版本完全一致，所以用$(uname -r)动态获取。如果 yum 源里没有对应版本的头文件（比如你刚升级过内核但没重启），需要先重启到目标内核，或者手动下载对应版本的 rpm 包安装。

dkms这个包不是必须的，但强烈建议装上。它的作用是当内核升级时，自动重新编译 NVIDIA 驱动模块，省得每次内核更新后都要手动重装驱动。对于长期运行的服务器来说，这个能省不少事。

安装完之后，确认一下头文件路径存在：

ls /usr/src/kernels/$(uname -r)

如果这个目录不存在或者为空，说明头文件没装好，后面驱动编译一定会失败。

3.3 下载正确的 runfile 文件

NVIDIA 官方的驱动下载页面可以选显卡型号、操作系统、CUDA 版本，然后给出对应的 runfile 链接。但更推荐的做法是直接去 CUDA Toolkit 的归档页面，找到你需要的 CUDA 版本，下载对应的 runfile。

下载的时候注意区分两个文件：一个是纯驱动 runfile（比如NVIDIA-Linux-x86_64-470.182.03.run），一个是 CUDA Toolkit runfile（比如cuda_11.4.0_470.42.01_linux.run）。后者其实是一个打包文件，里面包含了驱动和 CUDA Toolkit，安装的时候可以选择只装 CUDA 不装驱动，或者两个都装。

我的习惯是分开下载：驱动单独下最新的稳定版，CUDA Toolkit 下需要的版本，安装时先装驱动再装 CUDA，这样版本控制更清晰。

下载命令示例：

wget https://developer.download.nvidia.com/compute/cuda/11.4.0/local_installers/cuda_11.4.0_470.42.01_linux.run

如果服务器没有外网，就在有网的机器上下好，用 scp 或者 U 盘拷进去。文件大小大概 2 到 4 GB，取决于 CUDA 版本。

3.4 安装驱动时的参数选择

驱动 runfile 安装时，有几个参数需要根据实际情况选择。直接运行sudo sh NVIDIA-Linux-x86_64-xxx.run会进入交互式界面，但更推荐用命令行参数一次性指定，避免交互过程中选错。

常用参数组合：

sudo sh NVIDIA-Linux-x86_64-470.182.03.run \ --silent \ --dkms \ --no-opengl-files \ --no-x-check

逐个解释一下。--silent是静默安装，不弹交互界面，适合脚本化。--dkms是注册到 DKMS，内核升级时自动重编译。--no-opengl-files是不安装 OpenGL 相关文件，这个参数在服务器上特别重要——如果机器有图形界面，装了 OpenGL 文件可能会覆盖系统自带的 Mesa 库，导致重启后图形界面起不来。--no-x-check是跳过 X server 检查，有些机器上 X server 没跑但安装程序会误判，加上这个参数可以避免不必要的报错。

如果你的机器确实需要用 GPU 做图形渲染或者跑 OpenGL 程序，那就不能加--no-opengl-files，但要做好图形界面可能出问题的心理准备，装完之后可能需要重新配置 X server。

注意：--no-opengl-files和--no-x-check这两个参数在服务器场景下几乎是标配，能避开大部分图形界面相关的坑。但如果你不确定机器上有没有图形界面依赖，可以先不加，装完测试一下再决定。

4. 完整实操流程与关键环节

4.1 从零开始的完整安装步骤

假设你拿到一台全新的 CentOS 7 机器，带一张 NVIDIA 显卡，目标是装好驱动和 CUDA 11.4。下面是完整的操作流程。

第一步，确认显卡和系统信息：

lspci | grep -i nvidia cat /etc/redhat-release uname -r gcc --version

第二步，禁用 nouveau 并重启：

sudo vi /etc/modprobe.d/blacklist-nouveau.conf # 写入 blacklist nouveau 和 options nouveau modeset=0 sudo dracut --force sudo reboot

第三步，重启后确认 nouveau 已禁用：

lsmod | grep nouveau # 应该没有任何输出

第四步，安装编译依赖：

sudo yum install -y gcc gcc-c++ make kernel-devel-$(uname -r) kernel-headers-$(uname -r) dkms

第五步，切换到文本模式（如果机器有图形界面）：

sudo systemctl set-default multi-user.target sudo reboot

这一步是为了避免图形界面占用 GPU 导致驱动安装失败。如果机器本来就没有图形界面，可以跳过。

第六步，安装驱动：

sudo sh NVIDIA-Linux-x86_64-470.182.03.run --silent --dkms --no-opengl-files --no-x-check

安装过程大概需要一到两分钟，终端会输出编译和安装日志。如果看到Installation successful之类的提示，说明驱动装好了。

第七步，验证驱动：

nvidia-smi

如果能看到显卡型号、驱动版本、CUDA 版本、显存使用情况等信息，说明驱动正常工作。

第八步，安装 CUDA Toolkit：

sudo sh cuda_11.4.0_470.42.01_linux.run --silent --toolkit --toolkitpath=/usr/local/cuda-11.4

这里用--toolkit只装 CUDA Toolkit，不装驱动（驱动已经单独装过了）。--toolkitpath指定安装路径，方便多版本共存时切换。

第九步，配置环境变量：

echo 'export PATH=/usr/local/cuda-11.4/bin:$PATH' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda-11.4/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc source ~/.bashrc

第十步，验证 CUDA：

nvcc -V

能看到 CUDA 版本信息就说明装好了。

4.2 多版本 CUDA 共存的处理方式

实际工作中经常需要在同一台机器上跑不同 CUDA 版本的任务，比如一个项目要 CUDA 10.2，另一个要 CUDA 11.4。这时候可以用update-alternatives来管理。

安装多个版本的 CUDA 到不同路径，比如/usr/local/cuda-10.2和/usr/local/cuda-11.4，然后注册到 alternatives：

sudo update-alternatives --install /usr/local/cuda cuda /usr/local/cuda-10.2 102 sudo update-alternatives --install /usr/local/cuda cuda /usr/local/cuda-11.4 114

切换版本：

sudo update-alternatives --config cuda

这样/usr/local/cuda这个软链接会指向当前选中的版本，环境变量里统一用/usr/local/cuda就行，不用每次改路径。

实操心得：多版本共存时，驱动只需要装一个，用能满足最高 CUDA 版本要求的那个驱动即可。CUDA Toolkit 可以装多个，互不干扰。但要注意 cuDNN 之类的库也要对应版本，别搞混了。

4.3 离线环境的安装包准备

内网机器没有外网是常态，所以安装包要提前准备好。需要下载的东西包括：

kernel-devel 和 kernel-headers 的 rpm 包可以从 CentOS 的 vault 仓库下载，版本要和目标机器的内核版本完全一致。gcc 和 dkms 可以从 EPEL 或者系统镜像里找。

把这些文件拷到目标机器的一个目录里，用yum localinstall安装 rpm 包，runfile 直接sh执行。

4.4 安装后的验证与压力测试

装完驱动和 CUDA 之后，别急着跑任务，先做几项验证。

第一，nvidia-smi看基本信息。第二，跑一个 CUDA 自带的样例程序：

cd /usr/local/cuda-11.4/samples/1_Utilities/deviceQuery sudo make ./deviceQuery

如果输出里能看到Result = PASS，说明 CUDA 和驱动配合正常。第三，用nvidia-smi -q看详细状态，包括温度、功耗、显存错误计数等。第四，如果有多张卡，确认所有卡都被识别到。

压力测试可以用gpu-burn或者自己写个简单的 CUDA 程序跑矩阵乘法，持续跑十几分钟，观察温度和功耗是否正常。这一步主要是排除散热问题和电源供电不足的情况。

5. 常见问题与排查技巧实录

5.1 安装过程中报错的典型场景

报错一：You appear to be running an X server

这个报错说明 X server 正在运行，驱动安装程序无法替换正在使用的内核模块。解决办法是切换到文本模式，或者用--no-x-check参数跳过检查。但跳过检查只是让安装程序继续，实际安装后可能还是有问题，所以最好还是老老实实切到文本模式。

报错二：Unable to find the kernel source tree

内核头文件没装或者路径不对。检查/usr/src/kernels/$(uname -r)是否存在，如果不存在，重新安装kernel-devel包。有时候内核版本和头文件版本不一致也会报这个错，用uname -r确认当前内核版本，然后装对应版本的头文件。

报错三：nouveau is currently in use

nouveau 没禁用干净。检查/etc/modprobe.d/和/lib/modprobe.d/下的配置文件，确认blacklist nouveau和options nouveau modeset=0都写进去了。然后dracut --force重建 initramfs，重启。如果还不行，检查 BIOS 里有没有禁用集显或者设置独显优先。

报错四：The driver installation is unable to locate the kernel source

和报错二类似，但有时候是因为 GCC 版本不匹配。CUDA 对 GCC 版本有要求，太新的 GCC 可能编译不过。CentOS 7 默认的 GCC 4.8.5 一般没问题，但如果手动升级过 GCC，可能需要指定编译器路径。

5.2 装完之后 nvidia-smi 报错的排查

情况一：nvidia-smi: command not found

驱动没装成功，或者安装路径不在 PATH 里。检查/usr/bin/nvidia-smi是否存在，如果不存在，重新安装驱动。如果存在但命令找不到，把/usr/bin加到 PATH 里。

情况二：NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver

驱动装了但内核模块没加载。用lsmod | grep nvidia检查模块是否加载，如果没有，手动加载：sudo modprobe nvidia。如果加载失败，看dmesg | grep nvidia的输出，通常会有具体的错误信息，比如版本不匹配或者编译失败。

情况三：No devices were found

驱动加载了但没识别到显卡。检查lspci | grep -i nvidia是否有输出，如果没有，说明硬件层面就没认到，可能是显卡没插好或者 BIOS 里没启用。如果有输出但 nvidia-smi 还是找不到，检查是不是被其他驱动占用了，lspci -k看显卡当前使用的内核模块。

5.3 重启后驱动失效的几种原因

原因一：内核升级了但驱动没重新编译

CentOS 7 默认会自动更新内核，升级后重启，旧的内核模块就不匹配了。解决办法是装 DKMS，让驱动在每次内核升级时自动重编译。如果已经装了 DKMS 但还是失效，检查/var/lib/dkms/nvidia/下的日志，看编译是否成功。

原因二：Secure Boot 阻止了未签名的内核模块

有些机器开了 Secure Boot，NVIDIA 的驱动模块没有签名，加载时会被阻止。解决办法是在 BIOS 里关掉 Secure Boot，或者给驱动模块签名。服务器上一般建议直接关掉 Secure Boot。

原因三：nouveau 又回来了

某些系统更新会重新生成 initramfs，把 nouveau 又加回去。检查/etc/modprobe.d/下的配置文件是否还在，如果被覆盖了，重新写一遍然后dracut --force。

5.4 常见问题速查表

避坑技巧：每次装完驱动，先别急着重启，用nvidia-smi确认当前状态正常，然后再重启验证持久性。如果重启后失效，至少你知道问题出在持久化环节，排查范围小很多。

6. 一些容易被忽略的细节和长期维护建议

6.1 驱动安装路径和文件分布

NVIDIA 驱动 runfile 安装后，文件主要分布在几个位置。/usr/bin/nvidia-smi是管理工具，/usr/lib64/libnvidia*是库文件，/usr/src/nvidia-xxx/是内核模块源码，/etc/modprobe.d/nvidia.conf是模块配置。了解这些位置有助于排查问题和手动清理。

卸载驱动用sudo sh NVIDIA-Linux-x86_64-xxx.run --uninstall，这个命令会清理安装时写入的文件。但如果之前装过多个版本，可能会有残留，手动检查一下/usr/lib64和/usr/src下有没有旧版本的目录。

6.2 CUDA 环境变量的正确配置方式

很多人习惯把 CUDA 的环境变量写在~/.bashrc里，但这样只对当前用户生效。如果有多用户或者需要跑服务，建议写在/etc/profile.d/cuda.sh里：

sudo vi /etc/profile.d/cuda.sh # 写入 export PATH 和 LD_LIBRARY_PATH

这样所有用户登录时都会自动加载。另外，LD_LIBRARY_PATH这个变量要谨慎使用，有些程序对它的顺序敏感，配错了可能导致加载到错误的库版本。更稳妥的方式是用ldconfig配置：

echo '/usr/local/cuda-11.4/lib64' | sudo tee /etc/ld.so.conf.d/cuda.conf sudo ldconfig

这样系统会自动管理库路径，不用手动设LD_LIBRARY_PATH。

6.3 内核升级后的自动重编译配置

装了 DKMS 之后，内核升级时驱动会自动重编译，但前提是 DKMS 服务正常运行。检查 DKMS 状态：

sudo systemctl status dkms dkms status

如果dkms status里能看到 nvidia 模块，说明注册成功。内核升级后，DKMS 会在新内核的模块目录下编译驱动，重启后自动加载。如果编译失败，通常是新内核的头文件还没装，先装kernel-devel再手动触发dkms autoinstall。

6.4 监控 GPU 状态的基本命令

日常运维中，几个命令能帮你快速了解 GPU 状态。nvidia-smi是最常用的，看整体情况。nvidia-smi -q -d TEMPERATURE看温度。nvidia-smi -q -d POWER看功耗。nvidia-smi --query-gpu=index,name,utilization.gpu,memory.used,memory.total --format=csv可以输出 CSV 格式，方便脚本处理。

如果发现 GPU 利用率长期很低但显存占用很高，可能是程序有内存泄漏或者 batch size 设得太大。如果温度经常超过 80 度，检查散热风扇和机箱风道。如果功耗频繁触顶，可能是电源功率不够，需要换更大功率的电源。

6.5 长期维护的几点建议

第一，记录每次安装的驱动版本、CUDA 版本、内核版本，形成文档。出问题的时候，这些信息能帮你快速定位。第二，不要盲目追新，驱动和 CUDA 版本选稳定版就行，新版本往往有兼容性问题。第三，生产环境装驱动前先在测试机验证，确认没问题再批量操作。第四，定期检查dmesg里有没有 NVIDIA 相关的错误信息，早发现早处理。

我个人在实际操作中的体会是，CentOS 7 上装 CUDA 和驱动这件事，难点不在安装本身，而在环境准备和问题排查。把 nouveau 禁用、内核头文件、GCC 版本这三件事做扎实，安装过程基本就是一路回车。装完之后做好验证和持久化配置，后面就能稳定运行很长时间。最后再分享一个小技巧：如果实在搞不定 runfile 安装，可以试试先用 yum 装一个旧版驱动让系统认到显卡，再用 runfile 覆盖安装，有时候能绕过一些奇怪的环境问题。