GPU指标怎么接进Prometheusnvidia_gpu_exporter实操拆解【免费下载链接】nvidia_gpu_exporterNvidia GPU exporter for prometheus using nvidia-smi binary OR using NVML项目地址: https://gitcode.com/gh_mirrors/nv/nvidia_gpu_exporterGPU利用率忽高忽低Prometheus里却没有任何GPU序列。nvidia_gpu_exporter是一个面向Nvidia GPU的Prometheus exporter通过读取nvidia-smi二进制或驱动库输出暴露利用率、显存、温度、功耗等指标。跟完下面所有步骤你可以独立完成安装、/metrics验证和Grafana可视化。 环境自检驱动执行nvidia-smi能回显GPU表格不行就先装Nvidia驱动端口ss -lnt | grep 9835无输出说明9835端口空闲权限Linux下当前用户能执行nvidia-smiWindows一键安装需要管理员PowerShell系统任意systemd分布的Linux或Windows 10/11 快速跑通Linux裸机/虚拟机安装发布包版本号和你的下载一致# Debian/Ubuntu sudo dpkg -i nvidia-gpu-exporter_version_linux_amd64.deb # Red Hat/CentOS sudo rpm -i nvidia-gpu-exporter_version_linux_amd64.rpm预期回显dpkg/rpm安装成功systemctl status nvidia_gpu_exporter显示active。验证二进制执行nvidia_gpu_exporter --version终端回显版本号。启动服务包未自动启动时sudo systemctl enable --now nvidia_gpu_exporter预期回显状态为active (running)开机自启已开启。查看指标执行curl -s localhost:9835/metrics | grep nvidia_smi_gpu_info应回显含GPU名称和uuid的序列行。⚠️ 如果启动后没有GPU序列多半是nvidia-smi不在PATH里。用全路径指定--nvidia-smi-command/usr/local/nvidia/bin/nvidia-smi然后重启服务。Windows一键全家桶下载安装脚本保存为.ps1。以管理员身份打开PowerShell执行powershell -NoProfile -ExecutionPolicy Bypass -File C:\Users\你的用户名\Downloads\windows-all-in-one.ps1脚本会自动装好exporter、Prometheus和Grafana三个服务。预期回显三个服务注册并启动完成。浏览器访问http://localhost:9090应看到Prometheus页面访问http://localhost:3000用默认账号admin/admin登录Grafana。访问http://localhost:9835/metrics应返回nvidia_smi_*指标序列。⚠️ 提示无法加载脚本因为在此系统上禁止运行脚本默认执行策略拦了下载脚本必须带-ExecutionPolicy Bypass运行。⚙️ 生产部署systemd服务化部署适用条件Linux裸机或虚拟机长期运行且用二进制手动安装deb/rpm包已自带服务跳过本节。# 创建运行服务用的系统用户 sudo useradd --system --no-create-home --shell /usr/sbin/nologin nvidia_gpu_exporter # 放入服务文件并启动 sudo cp install/systemd/nvidia_gpu_exporter.service /etc/systemd/system/ sudo systemctl daemon-reload sudo systemctl enable --now nvidia_gpu_exporter验证systemctl status nvidia_gpu_exporter显示activecurl -s localhost:9835/metrics返回GPU序列。服务文件里Restartalways已内置进程崩溃会1秒后自动拉起。SSH远程采集适用条件exporter跑在没有GPU的机器上比如树莓派采集另一台GPU主机的指标。前提是先配好免密SSH。# 通过ssh在远端执行nvidia-smi输出与本地一致 nvidia_gpu_exporter --nvidia-smi-command ssh -o StrictHostKeyCheckingno -o UserKnownHostsFile/dev/null usergpu-host nvidia-smi验证/metrics里返回的uuid属于远端GPU。多GPU与每进程指标适用条件单机多卡或需要看哪个进程占显存。# 导出每进程GPU指标并后台每15秒采集一次 nvidia_gpu_exporter --collect.compute-apps --collect.interval 15s验证/metrics出现nvidia_smi_compute_app_used_memory_bytes系列。容器内要看宿主机所有进程需共享host PID命名空间。参数作用推荐值不设置时的默认行为--web.listen-address指标监听地址:9835监听:9835--nvidia-smi-commandnvidia-smi路径或命令系统默认用PATH里的nvidia-smi找不到则采集失败--query-field-names查询字段列表AUTOAUTO自动探测驱动支持的全部字段--collect.interval后台采集间隔15s0每次scrape同步跑一次nvidia-smi--collect.compute-apps每进程GPU指标按需开启不导出进程级指标完整参数列表见--help输出。 数据可视化接入给Prometheus加抓取目标重载配置后http://localhost:9090/targets显示UPscrape_configs: - job_name: nvidia-gpu static_configs: - targets: [gpu-host:9835] # 改成跑exporter的机器Grafana里打开 Dashboards → New → Import输入ID14574单卡明细面板多卡总览面板ID是25547。选择Prometheus数据源完成导入。导入不到线上面板时用仓库里现成的JSON直接导入docs/grafana/。确认GPU利用率、显存、温度面板出现曲线。面板支持自定义可基于此模板调整。⚠️ 面板全空时先查/targets目标不是UP就是Prometheus没抓到9835端口别去改面板。❓ 排错速查症状 / 报错信息常见原因解决方法启动报nvidia-smi: command not found或/metrics无GPU序列nvidia-smi不在PATH或服务用户无执行权限指定全路径--nvidia-smi-command/usr/local/nvidia/bin/nvidia-smiWindows路径含空格时引号要作为参数值的一部分传入只有健康指标nvidia_smi_last_collect_success 0采集超时或失败驱动异常、nvidia-smi挂死journalctl -u nvidia_gpu_exporter看日志nvidia-smi慢就--collect.timeout 30sPrometheus抓取偶发503并发scrape超过上限默认40--web.max-requests 80或--collect.interval 15s切后台模式缺少个别字段fan、remapped_rows等字段在该机器上读取慢或驱动不暴露--query-field-names-exclude fan.speed,remapped_rows.histogram.*PowerShell提示禁止运行脚本执行策略拦截powershell -ExecutionPolicy Bypass -File .\windows-all-in-one.ps1以上未覆盖的问题可在项目仓库提交issue或查阅 官方文档。下一步对接告警规则用nvidia_smi_last_collect_success监控采集失败完整指标口径见 docs/METRICS.md。Kubernetes/Docker部署仓库自带Helm chart自动生成DaemonSet、ServiceMonitor和仪表盘见 charts/nvidia-gpu-exporter。没有GPU先试跑nvidia_gpu_exporter --collect.backend demo在任意机器产出仿真指标适合先调通仪表盘和告警详见 docs/CONFIGURE.md。【免费下载链接】nvidia_gpu_exporterNvidia GPU exporter for prometheus using nvidia-smi binary OR using NVML项目地址: https://gitcode.com/gh_mirrors/nv/nvidia_gpu_exporter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考