Prometheus、node_exporter、Alertmanager 这套组合是服务器监控的实用工具node_exporter 负责收集服务器的 CPU 使用率、内存占用、磁盘空间等硬件指标Prometheus 对这些数据进行存储和分析生成可视化图表Alertmanager 则能根据预设规则在指标异常时比如 CPU 过载、服务宕机发送告警适用个人服务器管理者、小团队运维人员等。它们的优点是开源免费、配置灵活能精准监控服务器状态。使用这套工具时能明显感觉到监控的实时性很强自定义告警规则也很方便比如可以设置 “内存使用率超过 90% 持续 1 分钟就告警”。但需要注意的是初始配置时要仔细核对指标名称否则可能导致告警不触发另外数据存储目录要定期清理避免占用过多磁盘空间。如果只能在局域网内使用会有不少不便。比如服务器放在公司机房下班回家后想查看运行状态只能远程连接内网操作繁琐还不稳定半夜服务器出故障因为不在局域网内无法及时收到告警等第二天发现时可能已造成损失团队成员异地办公想协同查看监控数据必须接入公司内网效率很低。而当它们与 cpolar 结合后优势就很明显了。不用申请公网 IP就能把监控系统映射到公网在家、出差时手机打开浏览器输入公网地址服务器的 CPU、内存数据一目了然告警信息能直接发送到手机无论在哪都能第一时间知晓异常团队成员通过公网地址就能访问监控界面不用再折腾内网连接协作更顺畅服务器管理也更省心 。1111 4这就是软件之间组合的魅力。方法如下请笑纳 1.在 Centos7 上安装 Alertmanager在安装 alertmanager 前需要安装 node_exporter 和 prometheus没有安装的小伙伴可以参考这篇文章prometheus监控不再局域网Cpolar 让 Prometheus 走出内网限制 - cpolar 极点云官网node_exporter无需公网 IP:利用 node_exporter 和 cpolar 实现服务器状态的远程监控接下来跟我进入监控告警的世界吧去官网下载安装文件https://prometheus.io/download/找到 linux 版下载下载完成后记住下载路径。创建 alertmanager 的目录mkdir-p/app/alertmanager进入到这个目录cd/app/alertmanager手动上传下载好的 alertmanager 文件。上传成功后解压tar-vxzfalertmanager-0.28.1.linux-amd64.tar.gz改名方便记忆mvalertmanager-0.28.1.linux-amd64 alertmanager将 Altermanager 配置为系统服务:cd/usr/lib/systemd/systemvimalertmanager.service[Unit]Descriptionhttps://prometheus.io[Service]Restarton-failureExecStart/app/alertmanager/alertmanager--config.file/app/alertmanager/alertmanager.yml[Install]WantedBymulti-user.target加载 system 文件启动 alertmanager 这个服务并设置开机启动systemctl daemon-reload systemctl start alertmanager.service systemctlenablealertmanager.service也可以后台手动启动nohup./alertmanager--config.filealertmanager.yml/app/alertmanager/alertmanager/alertmanager.out21catalertmanager.out启动成功后访问 Altermanagerip9093默认端口为 9093。假如我们想用手机或者平板随时随地可以查看告警消息我们应该怎么做呢接下来 cpolar 就派上用场啦2.安装 cpolar 实现随时随地开发cpolar 可以将你本地电脑中的服务如 SSH、Web、数据库映射到公网。即使你在家里或外出时也可以通过公网地址连接回本地运行的开发环境。❤️ 以下是安装 cpolar 步骤官网在此https://www.cpolar.com使用一键脚本安装命令sudocurlhttps://get.cpolar.sh|sh安装完成后执行下方命令查看 cpolar 服务状态如图所示即为正常启动sudosystemctl status cpolarCpolar 安装和成功启动服务后在浏览器上输入虚拟机主机 IP 加 9200 端口即:【http://192.168.42.101:9200】访问 Cpolar 管理界面使用 Cpolar 官网注册的账号登录,登录后即可看到 cpolar web 配置界面,接下来在 web 界面配置即可打开浏览器访问本地 9200 端口使用 cpolar 账户密码登录即可,登录后即可对隧道进行管理。3.配置公网地址登录 cpolar web UI 管理界面后,点击左侧仪表盘的隧道管理——创建隧道隧道名称可自定义本例使用了:alertmanager注意不要与已有的隧道名称重复协议http本地地址9093域名类型随机域名地区选择 China Top创建成功后打开左侧在线隧道列表,可以看到刚刚通过创建隧道生成了公网地址接下来就可以在其他电脑或者移动端设备异地上使用地址访问。访问成功。4.在 prometheus 上配置 alertmanager进入 prometheus 的配置文件加入 alertmanager 告警规则vi/app/prometheus/prometheus.yml加入以下内容后Prometheus 可以通过这个公网地址 4246d47e.r2.cpolar.top刚才用 cpolar 打通的公网地址也可以用 localhost:9093访问到运行在本地 9093 端口的 Alertmanager 服务从而抓取系统指标。- targets:[4246d47e.r2.cpolar.top]labels: app:alertmanager这一步配置的作用是告诉 Prometheus当监控规则触发告警时应该把告警信息发送到哪个 Alertmanager 服务进行处理便于一会监控 node_exporter也可以监控 mysqld_exporter 等等。alerting: alertmanagers: - static_configs: - targets:[4246d47e.r2.cpolar.top]重新启动 prometheussystemctl restart prometheus抓取成功5.利用 alertmanager 来配置 node_exporter 告警在第四章节我们已经成功配置告警信息发送到 alertmanager接下来我们来验证一下是否可以成功发送我们这里举例倘若 node_exporter 关闭则发送告警。node_exporter 还可以监控主机的 CPU 使用率内存使用量文件系统用量等等。我们先改写 prometheus 的配置文件改以下内容vi/app/prometheus/promethues.yml进入到 prometheus 配置目录下写一个配置文件 1.ymlvi/app/prometheus/1.ymlgroups: - name: node-alerts rules:# 实例宕机- alert: node_exporter实例宕机 expr: up{jobnode_exporter,instancelocalhost:9100}0for: 15s labels: severity: critical annotations: summary:实例 {{$labels.instance }} 已停止运行超过 15 秒description:作业 {{$labels.job }} 的实例 {{$labels.instance }} 无法抓取。- name: prometheus rules:# 实例宕机- alert: 实例宕机 expr: up{jobprometheus}0for: 15s labels: severity: critical annotations: summary:实例 {{$labels.instance }} 已停止运行超过 15 秒description:作业 {{$labels.job }} 的实例 {{$labels.instance }} 无法抓取。重启 prometheussystemctl restart prometheus打开 prometheus 网页发现加入成功。接下来我们验证一下关闭 node_exporter会不会告警systemctl stop node_exporter再次打开 prometheus 网页告警成功打开 alertmanager 网页我们发现那两条告警也显示成功。这样我们就成功配置 prometheus 告警啦6.使用 Alertmanager 发送服务器告警至 QQ 邮箱QQ 邮箱默认不允许外部应用直接使用密码登录 SMTP 服务器因此你需要获取一个授权码登录 QQ 邮箱进入设置-账户。找到SMTP/IMAP/POP3/Exchange 服务开启SMTP 服务。开启后会提示你获取一个授权码。接下来我们进入 alertmanager 安装目录修改 alertmanager 配置文件 alertmanager.ymlvi/app/alertmanager/alertmanager/alertmanager.yml添加以下内容来配置告警规则global: resolve_timeout: 5m smtp_from:你的QQ邮箱smtp_smarthost:smtp.qq.com:465smtp_auth_username:你的QQ邮箱smtp_auth_password:你的QQ邮箱授权码smtp_require_tls:falsesmtp_hello:qq.comroute: group_by:[alertname]group_wait: 5s group_interval: 5s repeat_interval: 5m receiver:emailreceivers: - name:emailemail_configs: - to:你的QQ邮箱send_resolved:true这样有告警消息就可以发送到 QQ 邮箱啦我们来验证一下配置有没有问题./alertmanager--config.filealertmanager.yml--log.leveldebug手动运行测试没报错即正确重启 alertmanagersystemctl restart alertmanager systemctl status alertmanager登录邮箱查看node_exporter 挂机是否发邮件接收到邮件说明我们配置正确这样我们就可以随时随地查看告警信息了7.保留固定公网地址使用 cpolar 为其配置二级子域名该地址为固定地址不会随机变化。点击左侧的预留选择保留二级子域名地区选择 china Top然后设置一个二级子域名名称我这里演示使用的是 alertmanager大家可以自定义。填写备注信息点击保留。登录 cpolar web UI 管理界面点击左侧仪表盘的隧道管理——隧道列表找到所要配置的隧道 alertmanager点击右侧的编辑。修改隧道信息将保留成功的二级子域名配置到隧道中域名类型选择二级子域名Sub Domain填写保留成功的二级子域名地区: China Top点击更新更新完成后打开在线隧道列表此时可以看到随机的公网地址已经发生变化地址名称也变成了保留和固定的二级子域名名称。最后我们使用固定的公网地址在任意设备的浏览器中访问可以看到成功访问本地部署的 alertmanager 页面这样一个永久不会变化的二级子域名公网网址即设置好了。有了 cpolar 我们可以在任意一台服务器使用此 alertmanager 监控你的同事也可以一键监控是不是特别方便呢~结尾恭喜你通过这篇保姆级教程你已经成功搭建了一套完整、可落地的服务器监控与告警系统。无需深厚的运维背景也不依赖昂贵的商业工具仅凭 Prometheus 的强大采集能力、Node_Exporter 的轻量指标暴露、Alertmanager 的灵活告警管理再借助 cpolar 的内网穿透能力你就实现了实时监控 CPU、内存、磁盘等核心指标自定义告警规则异常自动触发通过邮件方式让告警信息随时随地触达手中即使服务器在本地、在家也能被云上的 Prometheus 安全访问监控是稳定的前提告警是响应的起点。愿你用这套工具守护好每一台服务器每一份数据每一次上线。现在就去喝杯咖啡安心等待第一条告警吧 —— 因为你知道系统正在替你站岗这套监控工具与内网穿透结合后打破了局域网的限制让服务器监控更灵活高效适合需要远程管理服务器的场景实用又便捷。