SIEM on Amazon OpenSearch Service 监控与告警配置CloudWatch 告警SNS 防集群存储爆满【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-serviceSIEM on Amazon OpenSearch Service 是一套开箱即用的安全信息与事件管理SIEM解决方案负责把 CloudTrail、VPC Flow Logs、GuardDuty、WAF 等多种安全日志自动采集、归一化并写入 OpenSearch 集群。日志持续增长时集群磁盘空间一旦爆满索引会进入只读状态甚至写入失败。本文将手把手讲解该方案内置的 CloudWatch 告警 SNS 邮件通知机制教你配置一套存储空间不足自动预警、自动熔断、自动恢复的完整监控告警体系让集群存储爆满的风险提前暴露、快速化解。为什么集群存储爆满必须提前告警安全日志通常 7×24 小时持续写入索引体量增长极快。当 OpenSearch 集群可用存储空间不足时会触发磁盘水位线保护机制集群自动将索引置为只读read-only导致es-loader写入失败、日志丢失。更麻烦的是恢复只读状态同样需要一定剩余空间空间越少越难自救。因此提前用 CloudWatch 告警监控存储空间、并用 SNS 及时通知管理员是 SIEM 方案稳定运行的生命线。方案内置的监控告警架构该方案在 CloudFormation 模板中默认创建了一套完整的监控告警链路无需额外开发链路大致如下CloudWatch 持续采集 OpenSearch 域的FreeStorageSpace指标当剩余空间低于阈值时CloudWatch 告警进入ALARM状态EventBridge 规则捕获告警状态变更触发es-loader-stopperLambda该 Lambda 立即将日志写入函数es-loader的并发数降为 0熔断防止日志继续写入同时通过 SNS 主题aes-siem-alert向管理员邮箱发送告警邮件。整套联动只需在部署时填写一个邮箱地址即可启用相关资源清单可参考 README.md 中的资源说明表。CloudWatch 告警如何发现存储空间不足核心告警名为aes-siem-TotalFreeStorageSpaceRemainsLowAlarm由 CDK 代码自动创建定义在 helper_lambda_functions.py 中。它的判定规则非常明确配置项取值指标AWS/ES命名空间下的FreeStorageSpace统计方式Sum求和采样周期1 分钟判定周期连续 30 个周期阈值剩余空间 ≤ 200 MB触发条件集群剩余可用空间低于 200MB 并持续 30 分钟也就是说当 OpenSearch 集群可用空间持续 30 分钟不足 200MB 时告警自动触发。这个阈值是经验值——200MB 刚好够集群完成分片分配和只读恢复等基础操作留出了自救余量。你可以在 CloudWatch 控制台的告警页面找到该告警查看其历史状态与触发时间线。SNS 邮件通知第一时间收到告警所有告警都会汇总到 SNS 主题aes-siem-alert主题的创建与订阅逻辑位于 aes_siem_stack.py。配置方法非常简单在部署 CloudFormation 模板时找到参数SnsEmail填入管理员邮箱地址即可详见 deployment.md 的参数说明方案会自动创建 SNS 邮件订阅并额外配置一条 EventBridge 规则把 OpenSearch 域产生的aws.es服务通知也转发到同一主题部署完成后请留意收件箱中的订阅确认邮件Subscription Confirmation点击确认链接后才能正式接收告警。邮件主题格式为[SIEM on OpenSearch Service] es-loader has been throttled.正文会附带 AWS 账号 ID、区域和触发事件详情方便你快速定位问题。es-loader-stopper存储告警的自动熔断保护收到邮件只是第一步真正防止存储爆满恶化的是自动熔断机制。当告警进入 ALARM 状态时EventBridge 规则aes-siem-EsLoaderStopperRule会调用 Lambda 函数aes-siem-es-loader-stopper源码见 index.py执行以下动作ALARM 状态→ 调用put_function_concurrency把es-loader的预留并发数设置为 0立即停止所有日志写入给集群留出恢复空间OK 状态→ 存储空间恢复正常后自动把并发数恢复为原值默认 10日志加载自动恢复INSUFFICIENT_DATA 状态→ 不执行任何操作直接跳过。这套告警 → 熔断 → 自动恢复的闭环让 SIEM 在存储告警场景下真正做到无人值守。存储爆满后的手动恢复步骤自动熔断属于紧急保护恢复日志加载还需要人工介入官方推荐步骤详见 README.md登录 AWS 控制台找到 Lambda 函数aes-siem-es-loader将其预留并发数Reserved Concurrency手动改回 10如果熔断期间有日志积压可借助 SQS 死信队列aes-siem-dlq找回写入失败的消息具体操作参考 configure_siem.md排查存储爆满的根因比如清理历史索引、开启索引生命周期管理ISM或直接扩容 OpenSearch 节点存储。用监控大盘持续观察集群健康除了告警方案还内置了 OpenSearch 指标大盘Dashboard可在 dashboard.md 中查看配置方法。大盘能直观展示集群的索引数量、文档数和存储占用趋势将大盘与 CloudWatch 告警、SNS 通知配合使用就能形成日常看趋势、异常收告警、紧急自动熔断的三层防护彻底告别集群存储爆满导致的日志丢失事故。小结通过本文你可以看到SIEM on Amazon OpenSearch Service 的监控告警配置几乎零门槛部署时填一个SnsEmail邮箱即可获得 CloudWatch 存储告警、SNS 邮件通知和 es-loader 自动熔断的完整能力。核心逻辑都沉淀在 helper_lambda_functions.py 与 index.py 中你也可以按需调整告警阈值、邮箱订阅甚至自定义 SNS 通知渠道让 SIEM 集群始终运行在安全水位之上。【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-service创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考