Docker 运行 Kafka 4.0+

发布时间：2026/10/15 0:07:45

Docker 运行 Kafka 4.0+
文章目录一、单节点Docker 运行 Kafka 4.0docker run 单机快速测试用docker‑compose 完整模板单机KRaft4.0.0进入容器测试命令SpringBoot application.yml 连接配置重点注意事项搭配kafka‑ui可视化扩展compose片段二、Kafka4.0.x KRaft 三节点高可用集群Docker Composedocker‑compose.yml启动步骤SpringBoot 连接配置集群测试命令关键特性说明高频踩坑停止清理一、单节点Docker 运行 Kafka 4.0Kafka 4.0彻底删除 Zookeeper 模式只支持 KRaft不再支持 zk。官方镜像apache/kafka没有 zk 相关任何配置。docker run 单机快速测试用dockerrun-d\--namekafka4\--restartalways\-p9092:9092\-p9093:9093\-v/data/kafka4/kraft-data:/tmp/kraft-combined-logs\-eKAFKA_NODE_ID1\-eKAFKA_PROCESS_ROLESbroker,controller\-eKAFKA_LISTENERSPLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093\-eKAFKA_ADVERTISED_LISTENERSPLAINTEXT://192.168.1.100:9092\-eKAFKA_CONTROLLER_LISTENER_NAMESCONTROLLER\-eKAFKA_CONTROLLER_QUORUM_VOTERS1kafka4:9093\-eKAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR1\apache/kafka:4.0.0⚠️ 修改192.168.1.100为你的宿主机真实IPSpringBoot业务连接用这个IP:9092。docker‑compose 完整模板单机KRaft4.0.0version:3.8services:kafka:image:apache/kafka:4.0.0container_name:kafka4restart:alwaysports:-9092:9092-9093:9093volumes:-./kraft-data:/tmp/kraft-combined-logsenvironment:KAFKA_NODE_ID:1KAFKA_PROCESS_ROLES:broker,controllerKAFKA_LISTENERS:PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093KAFKA_ADVERTISED_LISTENERS:PLAINTEXT://192.168.1.100:9092KAFKA_CONTROLLER_LISTENER_NAMES:CONTROLLERKAFKA_CONTROLLER_QUORUM_VOTERS:1kafka:9093KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR:1KAFKA_LOG_RETENTION_HOURS:72KAFKA_LOG_DIRS:/tmp/kraft-combined-logs启动docker-composeup-d进入容器测试命令# 进入容器dockerexec-itkafka4bash# 创建topickafka-topics.sh--create--topicdemo --bootstrap-server127.0.0.1:9092--partitions2--replication-factor1# 列表kafka-topics.sh--list--bootstrap-server127.0.0.1:9092# 生产者kafka-console-producer.sh--topicdemo --bootstrap-server127.0.0.1:9092# 消费者kafka-console-consumer.sh--topicdemo --bootstrap-server127.0.0.1:9092 --from-beginning# 查看kafka版本kafka-topics.sh--versionSpringBoot application.yml 连接配置spring:kafka:bootstrap-servers:192.168.1.100:9092producer:key-serializer:org.apache.kafka.common.serialization.StringSerializervalue-serializer:org.apache.kafka.common.serialization.StringSerializerconsumer:key-deserializer:org.apache.kafka.common.serialization.StringDeserializervalue-deserializer:org.apache.kafka.common.serialization.StringDeserializer重点注意事项Kafka4.x 完全没有Zookeeper不要再写任何zk连接参数。镜像apache/kafka:4.0.0不要用confluentinc/cp‑kafkacp还没有4.0大版本。数据目录权限挂载宿主机目录报权限拒绝chmod-R777./kraft-data升级提醒旧的kafka3.x zookeeper集群不能直接升级到4.0。3.x zk集群 → 先升级到3.5/3.6执行迁移工具切换KRaft迁移完成后再升级到4.0。不能直接把zk的数据目录直接给kafka4使用元数据格式完全不一样。单机生产注意单机同时做brokercontrollerreplication‑factor1不能高可用仅测试/小规模使用真正生产集群至少3节点controller。搭配kafka‑ui可视化扩展compose片段kafka-ui:image:provectuslabs/kafka-ui:latestcontainer_name:kafka-uirestart:alwaysports:-8081:8080environment:KAFKA_CLUSTERS_0_NAME:local‑kraft‑40KAFKA_CLUSTERS_0_BOOTSTRAPSERVERS:kafka:9092访问http://宿主机IP:8081二、Kafka4.0.x KRaft 三节点高可用集群Docker ComposeKafka4.0彻底移除Zookeeper仅KRaft模式3个节点全部同时充当broker controller控制器仲裁quorum3挂掉任意1台集群依然正常工作满足生产高可用基础条件。注意下面是单机docker模拟3节点集群同一台宿主机用于开发测试真正生产要部署在三台不同物理服务器。docker‑compose.ymlversion:3.8services:kafka‑1:image:apache/kafka:4.0.0container_name:kafka‑1restart:alwaysports:-9092:9092# broker端口对外-9093:9093# controller内部仲裁端口volumes:-./data‑1:/tmp/kraft‑combined‑logsenvironment:KAFKA_NODE_ID:1KAFKA_PROCESS_ROLES:broker,controllerKAFKA_LISTENERS:PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093# 修改为你的宿主机IP外部业务程序连接KAFKA_ADVERTISED_LISTENERS:PLAINTEXT://192.168.1.100:9092KAFKA_CONTROLLER_LISTENER_NAMES:CONTROLLERKAFKA_CONTROLLER_QUORUM_VOTERS:1kafka‑1:9093,2kafka‑2:9093,3kafka‑3:9093KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR:3KAFKA_DEFAULT_REPLICATION_FACTOR:3KAFKA_LOG_DIRS:/tmp/kraft‑combined‑logskafka‑2:image:apache/kafka:4.0.0container_name:kafka‑2restart:alwaysports:-9094:9092-9095:9093volumes:-./data‑2:/tmp/kraft‑combined‑logsenvironment:KAFKA_NODE_ID:2KAFKA_PROCESS_ROLES:broker,controllerKAFKA_LISTENERS:PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093KAFKA_ADVERTISED_LISTENERS:PLAINTEXT://192.168.1.100:9094KAFKA_CONTROLLER_LISTENER_NAMES:CONTROLLERKAFKA_CONTROLLER_QUORUM_VOTERS:1kafka‑1:9093,2kafka‑2:9093,3kafka‑3:9093KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR:3KAFKA_DEFAULT_REPLICATION_FACTOR:3KAFKA_LOG_DIRS:/tmp/kraft‑combined‑logskafka‑3:image:apache/kafka:4.0.0container_name:kafka‑3restart:alwaysports:-9096:9092-9097:9093volumes:-./data‑3:/tmp/kraft‑combined‑logsenvironment:KAFKA_NODE_ID:3KAFKA_PROCESS_ROLES:broker,controllerKAFKA_LISTENERS:PLAINTEXT://0.0.0.0:9092,CONTROLLER://0.0.0.0:9093KAFKA_ADVERTISED_LISTENERS:PLAINTEXT://192.168.1.100:9096KAFKA_CONTROLLER_LISTENER_NAMES:CONTROLLERKAFKA_CONTROLLER_QUORUM_VOTERS:1kafka‑1:9093,2kafka‑2:9093,3kafka‑3:9093KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR:3KAFKA_DEFAULT_REPLICATION_FACTOR:3KAFKA_LOG_DIRS:/tmp/kraft‑combined‑logskafka-ui:image:provectuslabs/kafka-ui:latestcontainer_name:kafka-uirestart:alwaysports:-8081:8080environment:KAFKA_CLUSTERS_0_NAME:kafka4‑3node‑kraftKAFKA_CLUSTERS_0_BOOTSTRAPSERVERS:kafka‑1:9092,kafka‑2:9092,kafka‑3:9092启动步骤# 创建数据目录mkdir-pdata‑1 data‑2 data‑3# 解决容器挂载目录权限问题chmod-R777data‑1 data‑2 data‑3# 启动集群docker-composeup-d# 查看容器状态docker-composeps访问UIhttp://宿主机IP:8081SpringBoot 连接配置spring:kafka:bootstrap-servers:192.168.1.100:9092,192.168.1.100:9094,192.168.1.100:9096producer:key-serializer:org.apache.kafka.common.serialization.StringSerializervalue-serializer:org.apache.kafka.common.serialization.StringSerializerconsumer:key-deserializer:org.apache.kafka.common.serialization.StringDeserializervalue-deserializer:org.apache.kafka.common.serialization.StringDeserializer集群测试命令# 进入kafka‑1容器dockerexec-itkafka‑1bash# 创建topic3分区3副本kafka-topics.sh--create--topictest3 --bootstrap-server127.0.0.1:9092--partitions3--replication-factor3# 查看topic详细信息kafka-topics.sh--describe--topictest3 --bootstrap-server127.0.0.1:9092# 查看集群版本kafka-topics.sh--version关键特性说明3个controller节点quorum3挂掉任意一台集群控制器依然正常工作挂2台控制器集群元数据不可用。default.replication.factor3新建topic默认3副本。同一台宿主机docker模拟仅用于开发测试真正生产三台物理服务器部署每台机器只跑一个kafka容器KAFKA_CONTROLLER_QUORUM_VOTERS填写三台机器ipcontroller端口KAFKA_ADVERTISED_LISTENERS填写各自机器外网/内网IP高频踩坑KAFKA_ADVERTISED_LISTENERS必须填写宿主机真实内网IP不能写127.0.0.1否则外部业务连接失败。容器内部之间通信使用容器名kafka‑1:9093不要用宿主机IP。数据目录权限报错chmod -R 777 data‑*。replication‑factor不能大于broker节点数。旧Zookeeper的kafka数据不能直接迁移到此集群需要重新搭建或使用官方迁移工具。停止清理# 停止集群docker-composedown# 彻底删除数据测试重置集群用rm-rfdata‑1 data‑2 data‑3mkdir-pdata‑1 data‑2 data‑3chmod-R777data‑1 data‑2 data‑3

相关新闻

T4 16G显卡最新Qwen3.8 27B初步安装测试

T4 16G显卡最新Qwen3.8 27B初步安装测试

废话不多说，初步测试记录整理如下： 复刻Ollama应用 打开模板中心页面：https://cloudstudio.net/t 找到Ollama项后，点击【使用模板】按钮，或者直接打开应用【AI模板——Ollama - Cloud Studio】(https://cloudstudio…

2026/10/2 2:12:15 阅读更多 →
电子楼书：从“纸质宣传册”到“VR沉浸式营销”的数字化革命

电子楼书：从“纸质宣传册”到“VR沉浸式营销”的数字化革命

一、什么是电子楼书？电子楼书是融合三维动画、多媒体互动与网络技术的房地产数字化宣传工具，通过光盘、触摸屏、互联网及移动设备等载体实现信息动态展示，替代传统纸质楼书模式。其以三维模拟为核心技术，整合视频、音乐、文字等数…

2026/10/15 0:05:36 阅读更多 →
宽压降压新利器｜CN8820 100V 异步降压 DC-DC，车载 / 工业 IoT 全能电源方案

宽压降压新利器｜CN8820 100V 异步降压 DC-DC，车载 / 工业 IoT 全能电源方案

还在为高压输入设备的电源方案头疼？输入电压跨度大、EMI 干扰严重、峰值电流不足、外围器件繁琐…… 这些行业痛点，CHIPNEED 芯维尔CN8820一颗 ESOP8 芯片全部解决，是 4.5–100V 宽压场景的最优降压选型！一、核心硬核参数&#xf…

2026/9/30 7:12:25 阅读更多 →

最新新闻

二次规划QP实战：从调包到手撕，解决不可行与病态问题

二次规划QP实战：从调包到手撕，解决不可行与病态问题

1. 从“调包”到“手撕”：为什么QP值得你花时间很多做算法落地的朋友，第一次接触二次规划（Quadratic Programming，简称QP）都是在MATLAB的quadprog或者Python的cvxopt.solvers.qp里填几个矩阵就完事了。模型跑通那一刻觉…

2026/10/15 0:07:00 阅读更多 →
差分进化算法MATLAB源码详解：用Sphere函数跑通单目标优化

差分进化算法MATLAB源码详解：用Sphere函数跑通单目标优化

很多刚开始接触智能优化算法的朋友，第一段需要亲手写的 MATLAB 程序，往往就是“差分进化算法matlab源码，跑单目标 sphere 函数”。这个组合看起来简单，其实非常值得认真对待：差分进化（DE）是连续…

2026/10/15 0:07:00 阅读更多 →
Dubbo整合Spring服务注册与暴露机制深度解析

Dubbo整合Spring服务注册与暴露机制深度解析

1. 从一次线上服务找不到Provider说起很多同学第一次接触分布式服务框架时，都会遇到一个很迷惑的现象：本地写好了服务实现类，Spring 容器也启动了，日志里没报任何错，但消费者端就是调用不到，报No provider …

2026/10/15 0:07:00 阅读更多 →
手动部署OpenTelemetry Collector：从配置到运维的实践指南

手动部署OpenTelemetry Collector：从配置到运维的实践指南

简介：基于C#编写的winform Socket通信示例，面向需要掌握网络编程的C#初学者，演示了服务端与多个客户端同时连接与数据交互的实现过程。压缩包内包含服务端与客户端两个独立工程，可对照学习服务端监听、客户端连接以及多客户端并发…

2026/10/15 0:05:58 阅读更多 →
SpringBoot整合knife4j实战：接口文档与在线调试完整指南

SpringBoot整合knife4j实战：接口文档与在线调试完整指南

1. 为什么接口文档这件事值得单独拎出来聊做后端开发的人都有一个共识：写接口不难，难的是让前端、测试、甚至未来的自己看懂接口。早些年大家用 Swagger 那一套，ApiOperation、ApiModel注解满天飞，UI 长得像上世纪的产物&#xff…

2026/10/15 0:05:58 阅读更多 →
openrig 实战：用 tmux 与 Node.js 编排 Claude Code 和 Codex 多代理工作流

openrig 实战：用 tmux 与 Node.js 编排 Claude Code 和 Codex 多代理工作流

1. openrig 到底想解决什么问题第一次看到 openrig 这个名字，加上关联的 Claude Code、Codex、Node.js、tmux 这几个词，我脑子里冒出来的判断是：这大概率是一个把多个 AI 编码工具统一编排起来的工程化脚手架。后来实际折腾了一圈&#xff0c…

2026/10/15 0:04:56 阅读更多 →

日新闻

Docker Compose 容器化部署 ChirpStack LoRaWAN 网络服务器实战

Docker Compose 容器化部署 ChirpStack LoRaWAN 网络服务器实战

1. 为什么选择容器化方式部署 LoRa 网络服务LoRa 物联网项目落地时，网络服务器是整个链路的核心枢纽。它负责接收网关上报的数据包、完成去重与解密、再把有效载荷分发给上层应用。早期大家习惯把网络服务器直接装在物理机上，依赖一堆系统库和特定版本的…

2026/10/15 0:00:46 阅读更多 →
共享LLM服务下的跨模型自动扩缩容：Kubernetes实战与避坑指南

共享LLM服务下的跨模型自动扩缩容：Kubernetes实战与避坑指南

1. 共享推理服务里，扩缩容到底难在哪做过大模型推理服务部署的人，大概都经历过这样的场景：一个团队共用一套推理集群，A 业务跑的是 7B 的小模型，B 业务跑的是 72B 的大模型，C 业务白天流量高、晚上几乎归零…

2026/10/15 0:00:46 阅读更多 →
Systemd 启动阶段根文件系统只读之谜：fstab 与 remount-fs 服务深度解析

Systemd 启动阶段根文件系统只读之谜：fstab 与 remount-fs 服务深度解析

1. 引子：一次内核恐慌引发的追查先从一个真实场景说起。某次我给一台老旧的嵌入式设备折腾系统裁减，为了把启动时间压进两秒以内，我手贱地把一串自认为“没用”的 systemd 服务给 disable 了，其中就包括systemd-remount-fs.servic…

2026/10/15 0:00:46 阅读更多 →

周新闻

流感时间序列预测实战：ARIMA/LSTM全流程拆解与避坑指南

流感时间序列预测实战：ARIMA/LSTM全流程拆解与避坑指南

简介：基于 ARIMA、LSTM、Transformer 等模型的流感时间序列预测 Python 源码，面向计算机相关专业课程设计与期末大作业学生，以及项目实战学习者。内容覆盖预处理、平稳性检验、定阶、残差分析、多模型对比预测的完整时序建模流程，…

2026/10/14 3:30:28 阅读更多 →
影刀RPA新手教程：键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程：键盘模拟输入实战——输入文本与模拟按键的区别

影刀RPA新手教程：键盘模拟输入实战——输入文本与模拟按键的区别 做影刀RPA自动化，十个新手有八个栽在"往输入框里填东西"这件事上：要么填不进去，要么填了一半，要么直接把原来内容追加在后面。这背后的根因&…

2026/10/14 16:30:29 阅读更多 →
影刀RPA新手教程：阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程：阅文起点小说数据采集实战——书籍信息与章节内容

影刀RPA新手教程：阅文起点小说数据采集实战——书籍信息与章节内容 1. 认识影刀：什么场景该用RPA采小说数据 起点中文网的页面结构相对稳定——分类榜单、书籍详情、章节内容三块独立页面，跳转链路清晰。这种场景非常适合影刀自动化&#x…

2026/10/14 3:29:58 阅读更多 →

月新闻

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/13 22:01:27 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/14 22:45:47 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/14 7:53:34 阅读更多 →