数据集成ETL大数据批处理流处理变更数据捕获【免费下载链接】seatunnelSeaTunnel is a multimodal, high-performance, distributed, massive data integration tool.项目地址https://gitcode.com/GitHub_Trending/se/seatunnel点击查看免费下载SeaTunnel 作为多云原生、高性能的分布式海量数据集成工具其 Zeta 引擎内置了基于 Prometheus 协议的指标Metrics导出能力可与 Prometheus、Grafana 等主流监控平台无缝衔接。本文以 监控与指标官方文档 为核心骨架结合仓库内 Zeta 引擎的配置解析与指标采集源码系统讲解如何开启 telemetry、理解各类指标语义、配置 Prometheus 抓取以及搭建 Grafana 监控仪表板帮助你建立起对 SeaTunnel 集群节点、作业、状态存储与线程池的全链路可观测能力。上图即 SeaTunnel 官方 Grafana 监控仪表板效果图来自仓库 docs/images/grafana.png涵盖节点数、分区、执行器、系统资源、作业状态等面板。一、监控总览Zeta 引擎的 Telemetry 机制Zeta 引擎通过Prometheus-exports集成指标将集群内部状态以 Prometheus 文本格式对外暴露从而与 Prometheus、Grafana 等监控平台无缝衔接提升 SeaTunnel 集群的监控与告警能力。从源码结构看指标的采集与导出由 seatunnel-engine-server 模块下的telemetry.metrics包统一负责AbstractCollector所有指标收集器的抽象基类提供cluster标签与address标签等公共能力ExportsInstanceInitializer节点启动时统一注册各指标收集器并初始化进程级 JVM 指标DefaultExports.initialize()ClusterMetricExports、NodeMetricExports、JobMetricExports、EngineStateStoreMetricExports、EngineStateStoreLogicalMetricExports、JobThreadPoolStatusExports、ReportMetricsOperationExports、RequestSlotOperationExports等分别对应文档中介绍的各类指标。REST 端点在 RestConstant.java 中定义为INSTANCE_CONTEXT_PATH /hazelcast/rest/instance配合REST_URL_METRICS /metrics与REST_URL_OPEN_METRICS /openmetrics构成完整的指标抓取地址。二、开启监控seatunnel.yaml 中的 telemetry 配置监控配置在seatunnel.yaml中进行声明式配置。仓库自带的 config/seatunnel.yaml 展示了完整的配置结构seatunnel: engine: classloader-cache-mode: true history-job-expire-minutes: 1440 backup-count: 1 queue-type: blockingqueue print-execution-info-interval: 60 print-job-metrics-info-interval: 60 slot-service: dynamic-slot: true checkpoint: interval: 10000 timeout: 60000 storage: type: hdfs max-retained: 3 plugin-config: namespace: /tmp/seatunnel/checkpoint_snapshot storage.type: hdfs fs.defaultFS: file:///tmp/ # Ensure that the directory has written permission telemetry: metric: enabled: false logs: scheduled-deletion-enable: true官方文档给出的最小开启配置如下seatunnel: engine: telemetry: metric: enabled: true配置项说明配置路径默认值说明seatunnel.engine.telemetry.metric.enabledfalse是否启用指标导出。置为true后各节点才会暴露 Prometheus 指标端点seatunnel.engine.telemetry.logs.scheduled-deletion-enabletrue是否启用任务日志的定时清理telemetry 下的日志子配置从配置解析源码看TelemetryConfig见 TelemetryConfig.java包含metric与logs两个子配置分别对应 ServerConfigOptions.java 中定义的TELEMETRY_METRIC与TELEMETRY_LOGS选项最终由 YamlSeaTunnelDomConfigProcessor.java 在启动阶段解析并注入引擎配置。在 SeaTunnelServer.java 中引擎会读取telemetryConfig.getLogs()判断是否启用日志管理服务。三、指标抓取端点启用metric.enabled: true后每个 SeaTunnel 实例节点都会暴露以下两个抓取端点其中{instanceHost}为实例地址5801为默认 hazelcast 实例端口端点格式说明http://{instanceHost}:5801/hazelcast/rest/instance/metricsPrometheus 文本格式标准的 Prometheus 指标文本http://{instanceHost}:5801/hazelcast/rest/instance/openmetricsOpenMetrics 文本格式OpenMetrics 规范格式的指标文本两个端点分别对应 RestConstant.java 中的REST_URL_METRICS /metrics与REST_URL_OPEN_METRICS /openmetrics挂在INSTANCE_CONTEXT_PATH /hazelcast/rest/instance之下。重要约定所有指标都带有相同的标签cluster其值为hazelcast.cluster-name的配置值。这意味着在多集群混布的场景下可以用cluster标签天然隔离不同集群的数据。四、指标体系详解本节按类别介绍可用的指标。指标类型遵循 Prometheus 类型系统Gauge表示可增可减的瞬时值Counter表示只增不减的累计值Summary表示分位数摘要。4.1 节点指标Node Metrics节点指标反映集群整体的规模、时间与单个节点的运行状态由 ClusterMetricExports.java 与 NodeMetricExports.java 输出。MetricNameTypeLabels描述cluster_infoGaugehazelcastVersionhazelcast 版本、masterseatunnel 主地址集群信息cluster_timeGaugehazelcastVersion集群时间node_countGauge-集群节点总数node_stateGaugeaddress服务器实例地址如 127.0.0.1:5801seatunnel 节点是否正常hazelcast_executor_executedCountGaugetype执行器类型见下seatunnel 集群节点的 hazelcast 执行器执行次数hazelcast_executor_isShutdownGaugetype执行器是否关闭hazelcast_executor_isTerminatedGaugetype执行器是否终止hazelcast_executor_maxPoolSizeGaugetype执行器最大池大小hazelcast_executor_poolSizeGaugetype执行器当前池大小hazelcast_executor_queueRemainingCapacityGaugetype执行器剩余队列容量hazelcast_executor_queueSizeGaugetype执行器当前队列大小hazelcast_partition_partitionCountGauge-集群节点的分区数量hazelcast_partition_activePartitionGauge-集群节点的活跃分区数量hazelcast_partition_isClusterSafeGauge-分区是否安全hazelcast_partition_isLocalMemberSafeGauge-本地成员是否安全type标签的取值包括async、client、clientBlocking、clientQuery、io、offloadable、scheduled、system。在 NodeMetricExports.java 中这些值分别对应 HazelcastInstanceMBean暴露的各类执行器异步、客户端、客户端阻塞、客户端查询、IO、可卸载、调度、系统执行器每个执行器都上报执行次数、关闭状态、池大小、队列容量等一整套指标。4.2 引擎状态存储指标Engine State Store Metrics这些指标暴露 Zeta 引擎状态存储的基础大小和本地资源使用情况。当前后端是 Hazelcast IMap因此backend标签值为hazelcast。本地指标由每个节点输出并包含address标签如需监控某个引擎状态存储的全局 entry 总量请在 Prometheus 中聚合engine_state_store_local_owned_entries。MetricNameTypeLabels描述engine_state_store_local_owned_entriesGaugeaddress实例地址、store状态存储名称、backend状态存储后端当前节点上该引擎状态存储的本地 owned entry 数engine_state_store_local_backup_entriesGaugeaddress、store、backend当前节点上该引擎状态存储的本地 backup entry 数engine_state_store_local_heap_cost_bytesGaugeaddress、store、backend后端支持时当前节点上该引擎状态存储的本地堆内存成本字节在 EngineStateStoreMetricExports.java 中被监控的状态存储列表包含了running-job-info、running-job-state、running-job-metrics、finished-job-state、checkpoint-monitor、connector-jar-ref-counters等 13 类引擎状态存储每个存储都会通过IMap.getLocalMapStats()上报本地 owned/backup entry 数与堆内存成本。PromQL 聚合示例按 store 求和得到全局 entry 总量sum by (cluster, store, backend) (engine_state_store_local_owned_entries)4.3 引擎状态存储逻辑指标Engine State Store Logical Metrics这些指标暴露特定引擎状态存储的业务语义计数仅由当前 active master 输出。指标名保持 backend-neutral但当前实现仍会带上backendhazelcast标签其实现见 EngineStateStoreLogicalMetricExports.java。MetricNameTypeLabels描述engine_state_store_running_job_metrics_task_contextsGaugebackendengine_runningJobMetrics中当前保存的 task metric context 总数engine_state_store_running_job_metrics_active_partition_keysGaugebackendengine_runningJobMetrics中当前非空的顶层分桶 key 数engine_state_store_checkpoint_monitor_jobsGaugebackendengine_checkpoint_monitor中当前跟踪的 job 数engine_state_store_checkpoint_monitor_in_progress_checkpointsGaugebackendengine_checkpoint_monitor中当前 in-progress checkpoint 数engine_state_store_checkpoint_monitor_retained_history_entriesGaugebackendengine_checkpoint_monitor中当前保留的 checkpoint history 条目数engine_state_store_finished_job_recordsGaugestorefinished job store 名称、backendfinished job 相关状态存储中的当前记录数engine_state_store_finished_job_cleanup_totalCounterstore、backendfinished job 状态存储因过期而发生的清理总次数engine_state_store_connector_jar_tracked_jarsGaugebackendengine_connectorJarRefCounters中当前被跟踪的 connector jar 数engine_state_store_connector_jar_total_referencesGaugebackendengine_connectorJarRefCounters中当前所有 connector jar 引用计数之和这些逻辑指标与前面的本地 Hazelcast store 指标互为补充当你想看每个节点上的数据分布和内存占用时使用engine_state_store_local_*指标当你想看 checkpoint 积压、finished job 保留、connector jar 复用等引擎语义时使用engine_state_store_*逻辑指标。常用 PromQL 示例# 按 store 聚合后的状态存储总 entry 数 sum by (cluster, store, backend) (engine_state_store_local_owned_entries) # 当前 checkpoint 积压 engine_state_store_checkpoint_monitor_in_progress_checkpoints{backendhazelcast} # 最近 15 分钟 finished job cleanup 增长量 increase(engine_state_store_finished_job_cleanup_total{backendhazelcast}[15m]) # connector jar 引用压力 engine_state_store_connector_jar_total_references{backendhazelcast}4.4 线程池状态Thread Pool Status以下指标仅由 active master 输出采集 worker 节点的接口不会返回这些指标。它们反映 seatunnel 协调器作业执行器缓存线程池的负载情况实现见 JobThreadPoolStatusExports.java。MetricNameTypeLabels描述job_thread_pool_activeCountGaugeaddress实例地址如 127.0.0.1:5801作业执行器缓存线程池的活动线程数job_thread_pool_corePoolSizeGaugeaddress线程池核心池大小job_thread_pool_maximumPoolSizeGaugeaddress线程池最大池大小job_thread_pool_poolSizeGaugeaddress线程池当前池大小job_thread_pool_queueTaskCountGaugeaddress线程池队列任务数job_thread_pool_completedTask_totalCounteraddress线程池完成任务数job_thread_pool_task_totalCounteraddress线程池总任务数job_thread_pool_rejection_totalCounteraddress线程池拒绝任务总数其中job_thread_pool_rejection_total是观察线程池是否过载的关键指标一旦出现拒绝计数持续增长说明作业调度请求超过了线程池容量需要评估maximumPoolSize的合理性或集群资源是否充足。4.5 ReportMetricsOperation 指标这部分指标揭示 Worker 向 Master 上报任务指标ReportMetricsOperation的调用情况。指标快照写入和删除对同一个分桶最多尝试 10 次竞争更新持续发生竞争时操作会抛出Failed to update metrics partition ... after 10 concurrent modifications。Worker 上报失败会记录日志并计入report_metrics_operation_total{resultfailure}任务上下文仍保留时后续定时上报可以再次尝试。待处理 Pipeline 清理在指标删除失败时会保留清理记录。这个上限限制的是竞争重试次数单次 Hazelcast 调用的等待时间仍由其超时设置决定。指标格式和 checkpoint/savepoint 状态保持不变。MetricNameTypeLabels描述report_metrics_operation_totalCounteraddressworker 实例地址、resultsuccess / failure / interruptedworker 发送的ReportMetricsOperation调用总次数report_metrics_operation_last_payload_task_countGaugeaddress最近一次ReportMetricsOperationpayload 中包含的 task metrics 数量report_metrics_operation_last_invocation_latency_msGaugeaddressworker 侧最近一次上报耗时毫秒含本地 metrics 收集与 worker 到 master 的调用时间report_metrics_operation_max_invocation_latency_msGaugeaddressworker 启动以来观测到的最大上报耗时毫秒其中report_metrics_operation_total{resultfailure}的占比可用于判断指标通道是否健康而last/max_invocation_latency_ms则反映指标上报链路的时延水平。相关实现见 ReportMetricsOperationExports.java。4.6 RequestSlotOperation 指标这些指标暴露 master 侧的 slot 分配 RPC 路径。当作业需要执行资源时active master 会选择候选 worker并向这些 worker 发送RequestSlotOperation请求以预留 slot。这些指标用于帮助运维人员区分 slot 分配 RPC 变慢/失败与整体资源不足。这些指标仅由 active master 输出是聚合信号不包含 job、worker、slot 或 resource profile 级别的标签。MetricNameTypeLabels描述request_slot_operation_totalCounteraddressmaster 实例地址、resultsuccess / no_slot / failuremaster 发送到 worker 的RequestSlotOperation调用总次数request_slot_operation_last_invocation_latency_msGaugeaddressmaster 侧最近一次RequestSlotOperation调用耗时毫秒含 master 到 worker 的调用时间request_slot_operation_max_invocation_latency_msGaugeaddressmaster 启动以来观测到的最大调用耗时毫秒result标签含义successworker 返回了已分配的 slotno_slot请求到达 worker 并正常完成但 worker 未返回合适的 slot。若该结果持续增加可能表示 master 侧的 worker 资源视图与 worker 当前 slot 状态存在偏差或者在 pre-check 与请求执行之间并发分配消耗了 slotfailuremaster 到 worker 的调用失败或 operation 异常完成。4.7 作业信息详细Job Count该指标仅由 active master 输出且只能按状态统计聚合数量不带按作业区分的标签因此无法用于针对某个具体作业按 ID 或名称的告警只能用于类似job_count{typefailed}这种集群级别的总量告警。实现见 JobMetricExports.java。MetricNameTypeLabels描述job_countGaugetypecanceled cancelling created failed failing finished running scheduledseatunnel 集群的所有作业计数告警示例当job_count{typefailed}超过阈值时说明集群中出现了失败作业需要进一步通过 REST API 或日志定位具体作业。4.8 JVM 指标JVM 指标由 Prometheus 官方 Java 客户端库的DefaultExports提供在 ExportsInstanceInitializer.java 中通过DefaultExports.initialize()一次性注册包含线程、类加载、内存、GC、进程等维度线程与类加载MetricNameTypeLabels描述jvm_threads_currentGauge-JVM 当前线程数jvm_threads_daemonGauge-守护线程数jvm_threads_peakGauge-峰值线程数jvm_threads_started_totalCounter-启动的线程总数jvm_threads_deadlockedGauge-等待获取对象监视器或可拥有同步器时处于死锁状态的线程数jvm_threads_deadlocked_monitorGauge-等待获取对象监视器时处于死锁状态的线程数jvm_threads_stateGaugestateNEW TERMINATED RUNNABLE BLOCKED WAITING TIMED_WAITING UNKNOWN按状态分类的线程计数jvm_classes_currently_loadedGauge-当前加载的类数量jvm_classes_loaded_totalCounter-自启动以来加载的类总数jvm_classes_unloaded_totalCounter-自启动以来卸载的类总数内存与 GCMetricNameTypeLabels描述jvm_memory_pool_allocated_bytes_totalCounterpoolCode Cache PS Eden Space PS Old Gen PS Survivor Space Compressed Class Space Metaspace给定内存池中分配的总字节数仅在 GC 后更新jvm_gc_collection_seconds_countSummarygcPS Scavenge PS MarkSweepGC 次数jvm_gc_collection_seconds_sumSummarygc在给定垃圾收集器中花费的时间秒jvm_memory_bytes_used / committed / max / initGaugeareaheap noheapJVM 内存区域的使用/提交/最大/初始字节数jvm_memory_pool_bytes_used / committed / max / initGaugepool给定内存池的使用/提交/最大/初始字节数jvm_memory_pool_collection_used / committed / max / init_bytesGaugepoolGC 相关的 3 个 pool最后一次回收后各内存池的使用/提交/最大/初始字节数jvm_memory_pool_allocated_bytes_createdGaugepool给定内存池中创建的总字节数仅在 GC 后更新jvm_memory_objects_pending_finalizationGauge-等待最终化队列中的对象数量jvm_buffer_pool_used_bytesGaugepooldirect mapped缓冲池使用字节数jvm_buffer_pool_capacity_bytesGaugepool缓冲池容量字节数jvm_buffer_pool_used_buffersGaugepool缓冲池使用的缓冲区数进程信息MetricNameTypeLabels描述jvm_infoGaugeruntime如 Java(TM) SE Runtime Environment、vendor如 Oracle Corporation、version如 1.8.0_212-b10VM 版本信息process_cpu_seconds_totalCounter-用户和系统 CPU 时间总计秒process_start_time_secondsGauge-进程自 Unix 纪元以来的启动时间秒process_open_fdsGauge-打开的文件描述符数量process_max_fdsGauge-最大可打开的文件描述符数量五、通过 Prometheus 和 Grafana 进行集群监控5.1 安装 Prometheus有关 Prometheus 服务器的安装方式请参考 Prometheus 官方安装文档prometheus.io/docs/prometheus/latest/installation。5.2 配置 Prometheus 抓取 SeaTunnel 指标将 SeaTunnel 实例指标导出添加到/etc/prometheus/prometheus.yaml中示例配置如下global: # 从此作业中抓取目标的频率。 scrape_interval: 15s scrape_configs: # 默认分配给抓取指标的作业名称。 - job_name: seatunnel scrape_interval: 5s # 指标导出路径 metrics_path: /hazelcast/rest/instance/metrics # 此作业静态配置的目标列表。 static_configs: # 静态配置中指定的目标。 - targets: [ localhost:5801 ] # 为从目标抓取的所有指标分配的标签。 # labels: [labelName:labelValue]配置要点scrape_interval: 5s以较高频率抓取适合对集群状态做近实时监控global.scrape_interval: 15s作为全局默认值metrics_path必须指向/hazelcast/rest/instance/metrics对应文档中的 Prometheus 格式端点如需 OpenMetrics 格式可改为/hazelcast/rest/instance/openmetricstargets为 SeaTunnel 实例的地址与端口默认 5801。多节点集群应将所有节点的host:5801都加入 targets或结合服务发现机制动态发现若需要区分集群或环境可在labels中添加自定义标签如cluster: prod配合指标自带的cluster标签值为hazelcast.cluster-name使用。5.3 安装 Grafana有关 Grafana 服务器的安装方式请参考 Grafana 官方文档grafana.com/docs/grafana/latest/setup-grafana/installation。5.4 监控仪表板配置 Grafana 的步骤在 Grafana 中添加 Prometheus 数据源URL 指向 Prometheus 服务地址将Seatunnel Cluster监控仪表板 JSON 导入到 Grafana 中。官方仪表板效果可见仓库中的 docs/images/grafana.png该仪表板覆盖了节点总数、分区、执行器、CPU/堆内存、GC、作业线程池与作业状态等核心面板。5.5 常用 Grafana 面板 PromQL 参考以下 PromQL 可以直接用于构建 Grafana 面板State Store Total Entries状态存储总 entry 数sum by (store) (engine_state_store_local_owned_entries{backendhazelcast})Checkpoint In-Progress Count进行中的 checkpoint 数量engine_state_store_checkpoint_monitor_in_progress_checkpoints{backendhazelcast}Finished Job Cleanup Ratefinished job 清理速率sum by (store) (rate(engine_state_store_finished_job_cleanup_total{backendhazelcast}[5m]))Connector Jar Reference Countconnector jar 引用数engine_state_store_connector_jar_total_references{backendhazelcast}六、监控实践建议与排障指引结合前文指标语义给出如下实践与排障建议集群健康三件套用node_count与node_state观察集群规模与节点存活用job_count{typefailed}做集群级失败作业告警用cluster_info的master标签确认当前主节点地址资源瓶颈排查hazelcast_executor_queueSize持续升高说明 Hazelcast 内部执行器排队积压job_thread_pool_rejection_total增长说明作业调度线程池过载两者结合可定位是系统级还是调度级瓶颈状态存储膨胀排查engine_state_store_local_heap_cost_bytes反映各状态存储在节点上的内存占用engine_state_store_finished_job_records与engine_state_store_finished_job_cleanup_total可判断 finished job 保留量是否异常、清理是否在正常推进checkpoint 积压排查engine_state_store_checkpoint_monitor_in_progress_checkpoints持续处于高位说明 checkpoint 推进受阻应结合 checkpoint 配置config/seatunnel.yaml中checkpoint.interval与checkpoint.timeout与作业日志联合分析指标上报链路健康观察report_metrics_operation_total{resultfailure}占比与report_metrics_operation_max_invocation_latency_ms若失败或时延突增需检查 worker 到 master 的网络与 Hazelcast 调用超时设置slot 分配异常request_slot_operation_total{resultno_slot}持续增加通常意味着 master 资源视图与 worker 实际 slot 状态出现偏差可结合slot-service.dynamic-slot配置见 config/seatunnel.yaml与作业资源需求综合判断JVM 兜底结合jvm_gc_collection_seconds_sum、jvm_memory_bytes_used与process_open_fds监控节点级资源为jvm_client_options、jvm_master_options、jvm_worker_options见 config 目录等 JVM 参数的调优提供数据支撑。七、小结SeaTunnel Zeta 引擎的 telemetry 机制将集群内部状态标准化为 Prometheus/OpenMetrics 协议指标覆盖节点、执行器、状态存储、线程池、作业计数与 JVM 等完整维度。通过 config/seatunnel.yaml 开启telemetry.metric.enabled配置 Prometheus 抓取/hazelcast/rest/instance/metrics端点再配合 Grafana 仪表板即可实现对 SeaTunnel 集群的体系化监控与告警。指标背后的采集实现telemetry.metrics包下的各Exports类与 REST 端点定义RestConstant.java均可在仓库源码中进一步研读为自定义指标或深度排障提供参考。赞分享数据集成ETL大数据批处理流处理变更数据捕获【免费下载链接】seatunnelSeaTunnel is a multimodal, high-performance, distributed, massive data integration tool.项目地址https://gitcode.com/GitHub_Trending/se/seatunnel点击查看免费下载相关推荐SeaTunnel Zeta 引擎 Telemetry 监控接入指南Prometheus 指标导出、配置与 Grafana 可视化SeaTunnel Zeta 引擎 Telemetry 监控接入指南Prometheus 指标导出、配置与 Grafana 可视化 本文基于 SeaTunne数据集成ETL大数据批处理流处理变更数据捕获FastStream Prometheus 监控接入实战指标采集、/metrics 暴露与 Grafana 可视化FastStream Prometheus 监控接入实战指标采集、/metrics 暴露与 Grafana 可视化 FastStream 作为异步事件驱动服务后端消息队列微服务TDengine 集群监控实战taosKeeper 指标采集、Prometheus 接入与 Grafana/TDinsight 可视化TDengine 集群监控实战taosKeeper 指标采集、Prometheus 接入与 Grafana/TDinsight 可视化 本文以 TDengin数据库时序数据库物联网大数据实时分析云原生上一篇零成本工业监控Java Native Access (JNA)实现实时设备数据采集下一篇如何快速上手 qimgv10个必学的图像查看技巧创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考