数据库OLAP大数据后端【免费下载链接】druidApache Druid: a high performance real-time analytics database.项目地址https://gitcode.com/gh_mirrors/druid6/druid点击查看免费下载Apache Druid 通过可插拔的 Emitter 机制将自身运行指标查询耗时、摄入速率、JVM 状态等外发到各类监控后端。opentsdb-emitter是 Druid 官方扩展目录extensions-contrib中负责对接 OpenTSDB 的实现它使用 Jersey HTTP Client 将 Druid 的服务指标ServiceMetricEvent以批量 JSON 的形式写入 OpenTSDB 的/api/put接口。阅读本文后你将掌握该扩展的加载方式、全部配置参数的含义与默认值、指标过滤与维度映射 JSON 的编写规则以及底层队列与发送机制的源码级原理。扩展概述与适用场景OpenTSDB 是基于 HBase 的分布式时序数据库适合作为 Druid 集群的监控指标存储。opentsdb-emitter的定位非常明确只发送服务指标事件ServiceMetricEvent即 Druid metrics 文档中列出的那类指标如query/time、ingest/events/processed、jvm/mem/used不会发送任务、数据源等业务事件通过 HTTP 传输底层使用com.sun.jersey的 Jersey Client见 pom.xml 中声明的jersey-client依赖可配置指标白名单与维度只有配置在 JSON 映射文件中的指标才会被转换并推送未配置的指标仅记录日志后被丢弃。从代码结构看扩展由五个核心类组成职责清晰源码目录类职责OpentsdbEmitterModuleGuice 模块注册opentsdb类型的 Emitter 并绑定配置OpentsdbEmitterConfig解析druid.emitter.opentsdb.*配置项并给出默认值OpentsdbEmitter实现Emitter接口负责事件入口、启动/刷盘/关闭生命周期EventConverter将 Druid 的ServiceMetricEvent转换为 OpenTSDB 事件含过滤与维度裁剪OpentsdbSender持有队列与调度线程批量把事件 POST 到 OpenTSDB/api/put加载扩展与其他 Druid 扩展一样需要在公共配置的扩展加载列表中显式声明该扩展参见 扩展加载说明。以common.runtime.properties为例druid.extensions.loadList[opentsdb-emitter]扩展的 Maven artifact 名为druid-opentsdb-emittergroup 为org.apache.druid.extensions.contrib它是独立于核心 Druid 的 contrib 模块需要下载后放入扩展目录。加载成功后再通过druid.emitteropentsdb指定使用该 Emitter 作为默认发送器。配置参数详解OpenTSDB Emitter 的所有配置参数都位于druid.emitter.opentsdb前缀之下。下表完整列出了官方文档定义的参数及其含义propertydescriptionrequired?defaultdruid.emitter.opentsdb.hostOpenTSDB 服务器的主机名yes无druid.emitter.opentsdb.portOpenTSDB 服务器的端口yes无druid.emitter.opentsdb.connectionTimeoutJersey Client 连接超时毫秒no2000druid.emitter.opentsdb.readTimeoutJersey Client 读取超时毫秒no2000druid.emitter.opentsdb.flushThreshold队列刷盘阈值达到后作为一批发送no100druid.emitter.opentsdb.maxQueueSize用于缓冲事件的队列最大容量no1000druid.emitter.opentsdb.consumeDelay队列消费间隔毫秒即调度线程一次执行结束到下一次开始之间的延迟no10000druid.emitter.opentsdb.metricMapPath定义每个 Druid 指标所需指标名与维度的 JSON 文件路径no./src/main/resources/defaultMetrics.jsondruid.emitter.opentsdb.namespacePrefix可选的指标名前缀例如默认指标名query.count配合前缀druid将输出为druid.query.countnonull参数实现细节源码级在 OpentsdbEmitterConfig.java 中可以看到默认值的定义与校验逻辑private static final int DEFAULT_FLUSH_THRESHOLD 100; private static final int DEFAULT_MAX_QUEUE_SIZE 1000; private static final long DEFAULT_CONSUME_DELAY_MILLIS 10000; private static final int DEFAULT_CONNECTION_TIMEOUT_MILLIS 2000; private static final int DEFAULT_READ_TIMEOUT_MILLIS 2000;host与port通过Preconditions.checkNotNull强制非空缺失时启动会直接报错其余参数在未配置或配置为负数时回退到默认值namespacePrefix有个特殊处理空字符串会被视为null即不添加前缀。参数对发送行为的影响在OpentsdbSender中体现maxQueueSize决定内部ArrayBlockingQueue的容量。当事件产生速度超过消费速度导致队列满时新事件会被丢弃并且每丢失 1000 个事件才输出一条 error 日志见 OpentsdbSender.java 的enqueue方法consumeDelay是ScheduledExecutorService.scheduleWithFixedDelay的固定延迟。如官方文档所述如果 Druid 进程指标事件产生得很快应当调小consumeDelay或调大maxQueueSize否则可能出现队列积压与丢事件flushThreshold是批量发送的批次大小消费线程每攒满该数量的事件就立即发送一批。指标过滤与维度映射EventConverterOpenTSDB Emitter 只会发送 JSON 文件中显式配置过的指标与维度这一逻辑由EventConverter实现。配置文件的组织模式为druid metric name : [ dimension list ]例如官方文档给出的示例query/time: [ dataSource, type ]含义是将 Druid 的query/time指标发送到 OpenTSDB并带上dataSource与type两个维度作为 OpenTSDB 的 tag。默认映射文件如果不指定metricMapPath扩展会从 classpath 加载内置的 defaultMetrics.json。该文件覆盖了 Druid 的主要指标类别包括查询类query/time、query/bytes、query/node/time、query/success/count、query/failed/count、query/cache/*等摄入类ingest/events/processed、ingest/rows/output、ingest/persists/*、ingest/kafka/lag等段管理类segment/added/bytes、segment/count、segment/underReplicated/count等JVM/系统类jvm/mem/*、jvm/gc/*、sys/cpu、sys/disk/*等。维度列表为空数组如query/success/count: []表示该指标只发送数值不带额外用户维度。对大多数使用场景而言默认配置已经足够无需自定义。转换与清洗规则EventConverter见 EventConverter.java的convert方法执行了以下关键步骤白名单过滤若事件指标名不在metricMap中直接返回nullOpentsdbEmitter会以 debug 级别记录“该指标未配置为发送到 OpenTSDB”的日志时间戳转换Druid 事件的毫秒时间戳除以 1000 转为 OpenTSDB 要求的秒级时间戳自动标签service与host会被强制加入 tags且其中的:会被替换为_例如druid:broker→druid_broker127.0.0.1:8080→127.0.0.1_8080以满足 OpenTSDB 对 tag 值的约束维度裁剪只保留 JSON 文件中列出的用户维度且字符串类型的维度值同样执行:→_替换指标名清洗sanitize连续的空白字符替换为_/替换为.因此query/time最终输出为query.time前缀拼接若配置了namespacePrefix则在清洗后的指标名前拼接namespacePrefix.前缀本身也会经过清洗。这些行为都有对应的单元测试验证见 EventConverterTest.javatestSanitize foo bar/baz清洗为foo_bar.baztestConvertWithNamespacePrefix前缀druid时query/time输出为druid.query.time且dataSourcefoo:bar被清洗为foo_bar自动 tag 为servicedruid_broker、host127.0.0.1_8080未配置的指标如foo/bar转换结果为null证实了白名单过滤行为。发送机制OpentsdbSenderOpentsdbSender是实际与 OpenTSDB 通信的组件其核心机制如下目标端点固定为http://host:port/api/putOpenTSDB 的批量写入 API路径常量定义在 OpentsdbSender.java。OpentsdbSenderTest.java 中的testUrl用例验证了该 URL 拼接逻辑异步队列ArrayBlockingQueueOpentsdbEvent缓冲待发送事件emit时通过enqueue非阻塞入队offer队列满即丢弃并计数批量发送ScheduledExecutorService2 个守护线程线程名OpentsdbEventSender-%s按consumeDelay周期执行EventConsumer不断从队列poll事件攒满flushThreshold个即通过 JerseyWebResource.entity(events, MediaType.APPLICATION_JSON_TYPE).post()发送一批刷盘与关闭flush()会在调度线程上立即提交一个消费任务等待最多 60 秒FLUSH_TIMEOUT 60000并额外发送一次剩余不足一批的事件确保优雅关闭时不丢失已在队列中的数据错误处理POST 失败会记录 error 日志但不会中断消费循环事件随后从本地列表清空。整体调用链为OpentsdbEmitter.emit(Event)→ 仅接受ServiceMetricEvent→EventConverter.convert(...)过滤与转换 →OpentsdbSender.enqueue(...)→ 调度线程批量 POST/api/put。模块注册见 OpentsdbEmitterModule.java其中EMITTER_TYPE opentsdb与druid.emitteropentsdb对应。完整配置示例下面是一份可用的common.runtime.properties配置将 Druid 全部节点的服务指标推送到opentsdb.example.com:4242# 加载扩展 druid.extensions.loadList[opentsdb-emitter] # 启用 opentsdb emitter druid.emitteropentsdb # OpenTSDB 服务地址必填 druid.emitter.opentsdb.hostopentsdb.example.com druid.emitter.opentsdb.port4242 # 网络超时可选默认 2000ms druid.emitter.opentsdb.connectionTimeout2000 druid.emitter.opentsdb.readTimeout2000 # 批量与队列可选 druid.emitter.opentsdb.flushThreshold100 druid.emitter.opentsdb.maxQueueSize1000 druid.emitter.opentsdb.consumeDelay10000 # 自定义指标映射文件可选缺省使用内置 defaultMetrics.json druid.emitter.opentsdb.metricMapPath/path/to/my/metrics.json # 指标名前缀可选如 query.time 变为 druid.query.time druid.emitter.opentsdb.namespacePrefixdruid若需要自定义映射文件可按前述 schema 编写 JSON例如只关注查询与摄入指标{ query/time: [dataSource, type], query/bytes: [dataSource, type], ingest/events/processed: [dataSource], ingest/rows/output: [dataSource], jvm/mem/used: [] }使用限制与注意事项仅服务指标该扩展只处理ServiceMetricEvent其他类型事件会被OpentsdbEmitter.emit直接忽略见 OpentsdbEmitter.java指标清单以 Druid metrics 为准未配置即丢弃任何不在映射文件中的指标都不会发送只会留下 debug 日志排查“指标缺失”问题时应先核对映射文件背压策略是丢数据队列满时新事件被静默丢弃每千条才告警一次高指标量场景下务必合理搭配maxQueueSize与consumeDelay调用时机emit在服务启动前被调用会抛出ISE异常Druid 生命周期管理会保证 Emitter 先start()后使用OpenTSDB 约束tag 值中不允许出现:扩展已自动将:替换为_指标名中的空白与/也会被清洗因此在 OpenTSDB 端查询时看到的是query.time而非query/time。综上opentsdb-emitter是一个轻量、可靠批量异步优雅刷盘的 Druid 指标出口理解其配置参数与 EventConverter 的过滤映射规则即可快速将 Druid 集群的查询、摄入、段管理与 JVM 指标接入 OpenTSDB 监控体系。赞分享数据库OLAP大数据后端【免费下载链接】druidApache Druid: a high performance real-time analytics database.项目地址https://gitcode.com/gh_mirrors/druid6/druid点击查看免费下载相关推荐Apache Druid StatsD Emitter 扩展实战指南将 Druid 指标实时推送至 StatsD / StatsiteApache Druid StatsD Emitter 扩展实战指南将 Druid 指标实时推送至 StatsD / Statsite 本文以当前仓库中 st数据库数据分析OLAP大数据实时分析数据仓库后端Apache Druid InfluxDB Emitter 扩展实战将 Druid 服务指标实时写入 InfluxDBApache Druid InfluxDB Emitter 扩展实战将 Druid 服务指标实时写入 InfluxDB 本篇技术指南以 Apache Drui数据库OLAP大数据后端Apache Druid StatsD Emitter 扩展实战将 Druid 指标输出到 StatsD 与 DogStatsDApache Druid StatsD Emitter 扩展实战将 Druid 指标输出到 StatsD 与 DogStatsD 本文以 Apache Dru数据库OLAP大数据后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考