监控Kubernetes集群的GPU资源(一)

对于SRE团队来说,实现监控AI、高性能计算平台上大规模GPU资源,至关重要。SRE团队可以通过GPU指标了解工作负载等相关性能,从而优化资源分配,提升资源利用率及异常诊断,以提高数据中心资源的整体效能。除了SRE及基础设施团队之外,不管你是从事GPU加速方向的研究人员,还是数据中心架构师,都可以通过相关监控指标,了解GPU利用率和工作饱和度以进行容量规划及任务调度等。

随着AI/ML工作负载的容器化,调度平台采用具备动态扩缩特性的Kubernetes解决方案,针对其监控的急迫性日益提升。在这篇文章中,我们将介绍NVIDIA数据中心GPU管理器(DCGM),以及如何将其集成到Prometheus和Grafana等开源工具中,以实现Kubernetes的GPU监控的整体解决方案。

NVIDIA DCGM

NVIDIA DCGM是用于管理和监控基于Linux系统的NVIDIA GPU大规模集群的一体化工具。它是一个低开销的工具,提供多种能力,包括主动健康监控、诊断、系统验证、策略、电源和时钟管理、配置管理和审计等。

DCGM提供用于收集GPU遥测的API。特别值得关注的是GPU利用率指标、内存指标和流量指标。DCGM提供了各种语言的客户端,如C和Python。对于与容器生态系统的集成,提供基于DCGM APIs的Go绑定实现。

NVIDIA exporter

监控系统通常由指标采集器、用于存储指标的时间序列数据库和可视组件组成。例如CNCF毕业项目Prometheus,它和Grafana一起构成监控集成方案。其中Prometheus还包括Alertmanager来创建和管理警报。Prometheus、kube-state-metrics及node_exporter一起部署,以获取Kubernetes API对象的集群指标和CPU利用率等节点指标。下图为Prometheus的示例架构。

在前面介绍的Go API基础上,可以通过DCGM向Prometheus暴露GPU指标。NVIDIA为此构建了dcgm-exporter的项目。

dcgm-exporter 使用 Go 绑定从 DCGM 收集 GPU 遥测数据,然后通过 http 接口 (/metrics) 向 Prometheus 暴露指标。

dcgm-exporter可以通过使用csv格式的配置文件来定制DCGM收集的GPU指标。

相关新闻

算法复杂度分析笔记:主定理详解

算法复杂度分析笔记:主定理详解

文章目录📝 算法复杂度分析笔记:主定理详解1. 题目回顾2. 核心工具:主定理 (Master Theorem)🔑 参数含义⚖️ 比较逻辑3. 解题步骤演示第一步:提取参数第二步:计算临界值第三步:比较 f(n)f(n)f(…

2026/11/18 6:56:47 阅读更多 →
考研院校推荐与分数线预测系统:Python+Django毕业设计完整实现

考研院校推荐与分数线预测系统:Python+Django毕业设计完整实现

做毕业设计选题目,最怕的就是“看起来高大上,实际上无从下手”。“考研院校推荐系统 考研分数线预测系统”这个题目,用到的技术正好是 Python Django,既能体现出机器学习、数据分析的能力,又能落地成一个完整的Web应…

2026/11/17 1:01:41 阅读更多 →
校园外卖抽成对账验收:混合优惠与多次退款测试单

校园外卖抽成对账验收:混合优惠与多次退款测试单

逐笔退款对账测试要分别断言累计净额与当期调整,并覆盖重复回执、费率变更和跨期迟到。本文给出具体输入序列与检查结果,帮助定位漏记、重复扣减和错用规则,测试方案不等同实际系统已经通过。准备两个商家与实际版本本文是微订第一方验收建议…

2026/11/9 4:44:08 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/18 13:59:04 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/18 15:33:23 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/18 17:05:28 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/18 14:33:19 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/18 17:05:28 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/18 14:13:08 阅读更多 →

日新闻

周新闻

月新闻