Prometheus 监控系列:搭建 Alertmanager 告警体系,实现邮件告警全流程实战
Prometheus 监控系列搭建 Alertmanager 告警体系实现邮件告警全流程实战第2部Prometheus告警Alertmanager介绍整体工作流程Alertmanager部署集成到Prometheus邮箱告警及告警规则验证邮箱告警第2部Prometheus告警摘要本文是 Prometheus 监控系列的第 2 部分聚焦告警体系的搭建与验证。文章首先介绍 Alertmanager 在告警链路中的角色与整体工作流程随后演示 Alertmanager 的下载、解压、systemd 托管部署并将其集成到 Prometheus 配置中。接着以 QQ 邮箱为例详细配置 SMTP 邮件告警接收器并编写基于磁盘分区使用率的 PromQL 告警规则。最后通过创建大文件触发告警完整验证了从 Prometheus 告警触发、Alertmanager 邮件分发到 QQ 邮箱收到通知的闭环流程。Alertmanager介绍Alertmanager 是 Prometheus 生态独立的告警管理组件PrometheusPrometheus 负责计算告警规则把触发的告警通过 HTTP 推送给 Alertmanager由 Alertmanager 做告警降噪、分组、路由、分发通知再发给邮件、钉钉、企业微信、webhook 等渠道。⚠️ 告警是两套组件分工Prometheus写告警规则、判断是否触发Alertmanager只处理告警不做指标采集与规则计算整体工作流程Prometheus 根据alert.rules规则计算条件满足进入firing状态Prometheus 将告警 POST 发送给 Alertmanager/api/v1/alertsAlertmanager 执行分组 → 去重 → 抑制 / 静默过滤 → 路由匹配接收器通过接收器发送告警通知故障恢复后发送恢复通知resolved。Alertmanager部署从Prometheus官网获取[rootprometheus-server ~]# wget https://github.com/prometheus/alertmanager/releases/download/v0.30.1/alertmanager-0.30.1.linux-amd64.tar.gz源码包解压[rootprometheus-server ~]# tar zxvf alertmanager-0.30.1.linux-amd64.tar.gzalertmanager-0.30.1.linux-amd64/ alertmanager-0.30.1.linux-amd64/alertmanager.yml alertmanager-0.30.1.linux-amd64/NOTICE alertmanager-0.30.1.linux-amd64/alertmanager alertmanager-0.30.1.linux-amd64/LICENSE alertmanager-0.30.1.linux-amd64/amtool[rootprometheus-server ~]# mv alertmanager-0.30.1.linux-amd64 /usr/local/src/alertmanager启动服务[rootprometheus-server ~]# nohup /usr/local/src/alertmanager/alertmanager --config.file/usr/local/src/alertmanager/alertmanager.yml [1]1787[rootprometheus-server ~]# nohup: 忽略输入并把输出追加到nohup.out[rootprometheus-server ~]# ps -ef | grep alertmanagerroot17871660119:15 pts/0 00:00:00 /usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager/alertmanager.yml root17951660019:15 pts/0 00:00:00grep--colorauto alertmanager使用systemd管理[rootprometheus-server ~]# kill -9 1787[rootprometheus-server ~]# vim /usr/lib/systemd/system/alertmanager.service[Service]ExecStart/usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager/alertmanager.yml[Install]WantedBymulti-user.target[Unit]DescriptionalertmanagerAfternetwork.target[rootprometheus-server ~]# systemctl daemon-reload[rootprometheus-server ~]# systemctl enable alertmanager.service --nowCreated symlink from /etc/systemd/system/multi-user.target.wants/alertmanager.service to /usr/lib/systemd/system/alertmanager.service.[rootprometheus-server ~]# systemctl status alertmanager.service● alertmanager.service - alertmanager Loaded: loaded(/usr/lib/systemd/system/alertmanager.service;enabled;vendor preset: disabled)Active: active(running)since 二2026-09-0119:18:21 CST;5s ago Main PID:1971(alertmanager)Tasks:7Memory:12.7M CGroup: /system.slice/alertmanager.service └─1971 /usr/local/src/alertmanager/alertmanager--config.file/usr/local/src/alertmanager...查看端口[rootprometheus-server ~]# ss -anput | grep 9093tcp LISTEN0128[::]:9093[::]:* users:((alertmanager,pid1971,fd7))打开网页http://192.168.18.128:9093/集成到Prometheus在Prometheus-server配置文件prometheus.yml中修改[rootprometheus-server ~]# vim /usr/local/src/prometheus/prometheus.yml//8-12行...7# Alertmanager configuration8alerting:9alertmanagers:10- static_configs:11- targets:12-192.168.100.128:9093#修改为alertmanager的IP及对应端口... //15-16行15rule_files:16-rules/*.yml//增加alertmanager监控项... - job_name:alertmanager# metrics_path defaults to /metrics# scheme defaults to http.static_configs: - targets:[192.168.100.128:9093]#重启服务[rootprometheus-server ~]# systemctl restart prometheus.service查看Prometheus的target邮箱告警及告警规则注册邮箱开启授权码开启服务刚开始服务会自动生成授权码,如果忘记没有复制无法找回只能重新生成生成新的授权码在alertmanager服务器上操作添加邮箱告警设置[rootprometheus-server ~]# cd /usr/local/src/alertmanager/[rootprometheus-server alertmanager]# cp -p alertmanager.yml alertmanager.yml.bk[rootprometheus-server alertmanager]# vim alertmanager.ymlglobal:# 全局配置块作用于整个Alertmanagerresolve_timeout: 5m# 解析超时时间告警消失后5分钟没有再次收到告警则判定为故障恢复resolvedsmtp_smarthost:smtp.qq.com:465# QQ邮箱SMTP服务器地址和端口465为SSL端口smtp_from:2370787636qq.com# 发件人邮箱告警邮件显示是谁发出smtp_auth_username:2370787636qq.com# SMTP认证用户名就是QQ邮箱账号smtp_auth_password:kjuoiwndbjyodjbc# SMTP认证密码QQ邮箱这里填16位授权码不是登录密码smtp_hello:qq.com# SMTP HELO握手时携带的主机标识QQ邮箱填qq.comsmtp_require_tls:false# 是否开启TLS465(SSL端口)必须关闭587端口才设置truetemplates:# 告警消息模板文件路径自定义邮件/钉钉告警消息格式-templates/*.tmplroute:# 告警路由根节点告警分组、降噪、分发的核心配置group_by:[alertname,instance]# 告警分组把alertnameinstance相同的多条告警合并为一条通知防止告警风暴group_wait: 10s# 收到第一条告警后等待10秒收集同组其他告警再统一发送通知group_interval: 10s# 同一告警组上一组通知发完后间隔10s才允许发送本组下一次通知repeat_interval: 15m# 同一个持续未恢复告警每15分钟重复发送一次告警通知receiver:email-notify# 本路由匹配到的告警交给哪个接收器处理receivers:# 接收器列表定义各个通知渠道邮箱、webhook钉钉等- name:email-notify# 接收器名称route里面receiver字段要和这里名字完全一致email_configs:# 邮箱通知配置块- to:2370787636qq.com# 收件邮箱告警邮件发给谁send_resolved:true# 开启故障恢复(resolved)之后也发送恢复通知邮件inhibit_rules:[]# 告警抑制规则数组[]代表为空不配置任何自动抑制规则重启alertmanager[rootprometheus-server alertmanager]# systemctl restart alertmanager在Prometheus-server上操作设置告警规则[rootprometheus-server alertmanager]# mkdir /usr/local/src/prometheus/rules[rootprometheus-server alertmanager]# cd[rootprometheus-server ~]# vim /usr/local/src/prometheus/rules/node_alerts.ymlgroups:# 规则组一组告警规则集合- name: general.rules# 规则组名称自定义用于分类管理多条告警规则rules:# rules该组下定义的告警规则列表- alert: NodeFilesystemUsage# alert告警名称告警触发后alertname标签就是该值expr:100-(node_filesystem_free_bytes{mountpoint/,fstype~ext4|xfs}/ node_filesystem_size_bytes{mountpoint/,fstype~ext4|xfs}*100)30# exprPromQL表达式计算/根分区磁盘使用率使用率30满足告警条件除法两边标签过滤器保持完全一致for: 1m# for持续等待时间指标满足条件必须持续1分钟才真正触发告警消除瞬时抖动误告警labels:# labels给告警添加自定义标签用于alertmanager做路由、抑制规则匹配severity: warning# severity告警等级标签warning为警告级别还有critical严重级别annotations:# annotations告警注释信息仅展示不会作为告警匹配标签用于邮件/钉钉告警消息内容summary:Instance {{$labels.instance }} : {{$labels.mountpoint }} 分区使用率过高# summary告警简短标题{{ $labels.xxx }}模板语法动态读取指标的标签description:{{$labels.instance }} : {{$labels.job }} : {{$labels.mountpoint }} 这个分区使用大于百分之三十(当前值{{$value}})# description告警详情{{ $value }}代表PromQL表达式计算出的数值结果重启服务[rootprometheus-server ~]# systemctl restart prometheus.service验证邮箱告警在Prometheus-server服务器上操作先查看当前/分区占用[rootprometheus-server ~]# df -hT文件系统 类型 容量 已用 可用 已用% 挂载点 devtmpfs devtmpfs1.9G01.9G0% /dev tmpfs tmpfs1.9G01.9G0% /dev/shm tmpfs tmpfs1.9G 12M1.9G1% /run tmpfs tmpfs1.9G01.9G0% /sys/fs/cgroup /dev/mapper/centos-root xfs 17G6.2G 11G37% / /dev/sda1 xfs 1014M 195M 820M20% /boot tmpfs tmpfs 378M0378M0% /run/user/0进行测试创建大容量文件[rootprometheus-server ~]# dd if/dev/zero of/test bs10M count10000dd: 写入/test出错: 设备上没有空间 记录了11080 的读入 记录了11070 的写出11612389376字节(12GB)已复制63.3676 秒183 MB/秒Prometheus页面已经出现告警提示alertmanager中也已经出现邮件告警在qq邮箱中收到了告警邮件

相关新闻

2026盘点:国内企业级AI办公产品选型全景

2026盘点:国内企业级AI办公产品选型全景

企业调研AI办公产品时,很容易陷入功能标签堆砌的误区。很多产品对外展示丰富的能力清单,但落地到真实业务流程,实际产出和业务预期会产生偏差。不少团队单纯对比功能数量、市场热度或者价格档位完成评估,忽略产品与自身业务场景的…

2026/11/22 14:38:28 阅读更多 →
LSTM增强卡尔曼滤波:动态噪声参数优化与Python实现

LSTM增强卡尔曼滤波:动态噪声参数优化与Python实现

简介:本资源是一套面向信号处理与智能滤波领域的Python/MATLAB混合实现方案,聚焦于LSTM神经网络与卡尔曼滤波的协同优化,适用于高年级本科生、研究生及具备基础控制理论与深度学习知识的研究人员。它解决了传统卡尔曼滤波在非线性、时变系统中…

2026/11/10 23:12:12 阅读更多 →
基于YOLOv5与OpenCV的7种形状识别:从数据集构建到部署的完整实践

基于YOLOv5与OpenCV的7种形状识别:从数据集构建到部署的完整实践

简介:本资源是一套面向计算机视觉初学者与深度学习实践者的多目标形状识别完整方案,聚焦于YOLOv5模型在简单几何图形检测任务中的落地应用,适用于课程设计、小规模工业检测原型开发及OpenCVPyTorch联合调试学习。压缩包共473个文件&#xff0…

2026/11/20 11:34:45 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/21 23:27:35 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/21 23:27:35 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/21 23:27:35 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/21 23:27:35 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/21 23:27:36 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/21 23:27:37 阅读更多 →

日新闻

周新闻

月新闻