后端物联网消息队列通信【免费下载链接】emqxThe most scalable and reliable MQTT broker for AI, IoT, IIoT and connected vehicles项目地址https://gitcode.com/gh_mirrors/em/emqx点击查看免费下载导读本文围绕 EMQX 仓库中 changelog 条目fix-18344对应 changes/ee/fix-18344.en.md展开深入解析 EMQX 将 HOCON 配置解析库升级到 0.46.3 后带来的两项安全增强数组型array-typed配置字段中的敏感值统一以******掩码渲染以及配置校验失败时错误日志不再输出敏感字段的明文值。读完本文你将理解 EMQX 配置体系如何标记敏感字段、HOCON 掩码机制的底层原理、该修复覆盖的典型配置场景以及如何在日常运维中验证与利用这一安全行为。一、修复背景EMQX 的配置体系与敏感信息泄露风险EMQX 使用HOCONHuman-Optimized Config Object Notation作为核心配置格式配置文件分布在 apps/emqx_conf/etc/base.hocon 等位置并由 apps/emqx_conf 应用负责配置的加载、校验与下发。在配置体系中存在大量天然敏感的字段例如节点间集群通信使用的node.cookieTLS/SSL 私钥口令如ssl_options.password各类认证、桥接、连接器中的密码、Token、密钥无状态 TLS ticket 种子tls_stateless_tickets_seed等。这些字段一旦在日志、HTTP API 响应或配置校验错误信息中以明文形式出现就可能造成凭据泄露。fix-18344正是针对这类泄露路径的一次系统性加固。二、修复内容拆解HOCON 0.46.3 的两项关键行为原 changelog 原文changes/ee/fix-18344.en.md指出本次升级带来两个行为变化Upgraded HOCON to 0.46.3. This release renders sensitive values inside array-typed config fields as******and no longer prints sensitive field values in config validation error logs.2.1 数组型配置字段中的敏感值渲染为******此前标有sensitive标记的标量字段如node.cookie在输出时已经会被掩码处理但当敏感值位于数组array类型的配置字段内部时掩码逻辑存在遗漏敏感值可能以明文形式出现在配置查询、API 返回等输出中。HOCON 0.46.3 修复了该问题无论敏感值嵌套在哪个层级只要字段被标记为敏感渲染结果统一为******。从当前仓库源码看EMQX 的敏感字段标记机制由 apps/emqx/src/emqx_schema_secret.erl 定义其?SCHEMA宏明确包含-define(SCHEMA, #{ required false, format password, sensitive true, converter fun ?MODULE:convert_secret/2 }).即通过emqx_schema_secret:mk/1创建的字段密码、密钥类默认携带sensitive true标记配合convert_secret/2完成file://文件源解析与值包装emqx_secret:wrap/1实现加载时按需解密、输出时统一掩码的闭环。2.2 配置校验错误日志不再打印敏感字段明文配置校验失败时HOCON 通常会生成包含具体字段与值的错误描述若其中携带敏感字段明文会直接写入日志造成泄露。0.46.3 起校验错误日志中的敏感字段值被隐去仅保留字段路径与错误类型等非敏感信息。这一点与 EMQX 侧的日志纪律相互呼应例如 apps/emqx_conf/src/emqx_cluster_rpc.erl 中就有明确注释%% Do not log args as it might be sensitive information说明集群 RPC 调用在日志层面同样遵循参数可能敏感、禁止打印的约定。三、源码证据EMQX 中哪些字段被标记为敏感搜索整个仓库sensitive true标记广泛出现在核心 schema 定义中覆盖认证、桥接、网关等多个模块典型示例包括模块字段示例说明apps/emqx_conf/src/emqx_conf_schema.erlnode.cookie集群节点间通信 cookiereadOnlysensitiveapps/emqx_conf/src/emqx_conf_schema.erlnode.tls_stateless_tickets_seed无状态 TLS ticket 种子apps/emqx/src/emqx_schema.erlssl_options.passwordTLS 私钥口令apps/emqx/src/emqx_schema.erlsensitive true公共 SSL 选项 schema 中的密码字段apps/emqx_auth_ldap/src/emqx_authn_ldap_schema.erl认证密码字段LDAP 认证apps/emqx_bridge_pulsar/src/emqx_bridge_pulsar.erl桥接认证凭证Pulsar 桥接apps/emqx_bridge_gcp_pubsub/src/emqx_bridge_gcp_pubsub.erl服务账号凭证GCP Pub/Sub 桥接apps/emqx_bridge_tablestore/src/emqx_bridge_tablestore.erl访问密钥Tablestore 桥接apps/emqx_license/src/emqx_license_schema.erl许可证密钥License 配置apps/emqx_bridge_bigquery/src/emqx_bridge_bigquery_connector_schema.erl凭据字段BigQuery 连接器这些字段覆盖了 EMQX 中配置即凭据的绝大多数场景说明本次 HOCON 升级受益面是全局性的而非仅针对单一模块。关于node.cookie的一个特殊设计值得注意apps/emqx_conf/src/emqx_conf_schema.erl 中对node.cookie有一段重要的设计注释它故意不映射到vm_args.-setcookie而是通过bin/emqx启动脚本以-setcookie命令行参数传入 Erlang VM从而保证解析后的明文 secret 永远不会落盘到生成的vm.time.args文件中。这也是敏感值最小化暴露理念的又一体现与本次 HOCON 掩码修复形成互补。四、版本演进从 0.46.3 到当前仓库锁定的 0.46.5fix-18344条目记录的版本为HOCON 0.46.3即本次安全修复首次引入的版本从当前仓库的 mix.exs 可以看到项目已将 HOCON 依赖进一步升级并锁定为def common_dep(:hocon), do: {:hocon, github: emqx/hocon, tag: 0.46.5, override: true}其中override: true表明 EMQX 在 umbrella 项目中对 HOCON 版本拥有强制统一控制权防止其他依赖如 emqtt引入的 HOCON 版本覆盖掉包含安全修复的版本。也就是说包含fix-18344修复的代码已在当前仓库中生效且版本高于初始修复版本。五、如何验证与使用这一安全行为5.1 通过配置查询 API 验证掩码在 EMQX 运行后可通过 Dashboard 或 HTTP API 查询节点配置。对于被标记为sensitive的字段响应中应看到******而非明文。例如查询集群节点配置中的node.cookiecurl -u admin:public -X GET \ http://127.0.0.1:18083/api/v5/nodes/${NODE_NAME}/configs?pathnode.cookie预期输出中的cookie值以******呈现。5.2 通过故意构造错误配置验证校验日志写入一个校验必然失败的配置例如给node.cookie传入非法值或设置不符合格式约束的敏感字段随后观察erlang.log.*或控制台输出修复后校验错误信息中不会出现敏感字段的明文值只会给出字段路径与错误类型修复前则可能直接回显明文。5.3 源码级确认字段敏感属性若要确认某个配置项是否会被掩码可在仓库中定位其 schema 定义检查字段元数据中是否包含sensitive true如 apps/emqx/src/emqx_schema_secret.erl 的?SCHEMA宏以及各应用*_schema.erl中的字段定义。六、总结fix-18344虽然只是 changelog 中的一句话但其安全价值在于补齐了 EMQX 敏感信息治理的两块拼图输出侧数组型配置字段中的敏感值此前可能绕过掩码现在与标量字段一致统一渲染为******错误侧配置校验失败产生的日志不再回显敏感字段明文堵住了合法字段 非法值场景下的凭据泄露路径。配合 EMQX 既有的一整套机制——sensitive true字段标记、emqx_schema_secret的 secret 包装与file://文件源支持、node.cookie不落盘设计、集群 RPC 不打印参数约定——EMQX 的配置凭据从定义、加载、校验、日志、API 输出全链路均得到掩码保护。对于自建 EMQX 集群的运维与安全审计人员而言升级到包含 HOCON 0.46.3当前仓库为 0.46.5的版本即可自动获得上述保护无需额外配置。赞分享后端物联网消息队列通信【免费下载链接】emqxThe most scalable and reliable MQTT broker for AI, IoT, IIoT and connected vehicles项目地址https://gitcode.com/gh_mirrors/em/emqx点击查看免费下载相关推荐EMQX node_dump 配置导出升级以 HOCON 格式输出并自动脱敏敏感配置EMQX node_dump 配置导出升级以 HOCON 格式输出并自动脱敏敏感配置 导读 本文介绍 EMQX 的 node_dump 诊断工具在 6.0对后端物联网消息队列通信keploy 实操5 分钟离线跑通第一条 API 测试用例keploy 实操5 分钟离线跑通第一条 API 测试用例 keploy 是一个开源的测试录制回放工具把应用包起来运行它会自动把 API 调用和数据库查询测试开发工具接口测试Dio日志安全敏感信息脱敏与保护Dio日志安全敏感信息脱敏与保护 在移动应用和后端服务开发中HTTP请求日志是排查问题的重要工具。Dio作为Dart和Flutter生态中最流行的HTTP客网络后端WebSocket上一篇5大理由告诉你为什么这款Mac美剧播放器值得拥有下一篇揭秘 Node.js MySQL 客户端LocalInfileRequestPacket 实现高效文件传输的核心机制创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考