第 9 篇：「Fluss 运维实战」—— 部署、监控与故障排查

发布时间：2026/10/20 15:33:27

第 9 篇：「Fluss 运维实战」—— 部署、监控与故障排查
第 9 篇「Fluss 运维实战」—— 部署、监控与故障排查阅读本文你将了解Fluss 的三种部署方式、Kubernetes Helm Chart 部署、Prometheus Grafana 监控配置、日常运维操作扩缩容、备份恢复以及 Top 10 常见故障排查手册。9.1 部署方式9.1.1 Docker Compose开发/测试# docker-compose.ymlversion:3.8services:zookeeper:image:zookeeper:3.9ports:-2181:2181environment:ZOO_MY_ID:1ZOO_SERVERS:server.1zookeeper:2888:3888;2181volumes:-zk_data:/data-zk_log:/datalogcoordinator-server:image:apache/fluss:0.9.1command:coordinatorServerdepends_on:-zookeeperports:-9123:9123environment:ZOOKEEPER_ADDRESS:zookeeper:2181COORDINATOR_HOST:coordinator-serverCOORDINATOR_PORT:9123volumes:-coordinator_data:/datatablet-server-1:image:apache/fluss:0.9.1command:tabletServerdepends_on:-coordinator-serverenvironment:ZOOKEEPER_ADDRESS:zookeeper:2181TABLET_SERVER_HOST:tablet-server-1DATA_DIR:/data/tabletvolumes:-ts1_data:/datatablet-server-2:image:apache/fluss:0.9.1command:tabletServerdepends_on:-coordinator-serverenvironment:ZOOKEEPER_ADDRESS:zookeeper:2181TABLET_SERVER_HOST:tablet-server-2DATA_DIR:/data/tabletvolumes:-ts2_data:/datavolumes:zk_data:zk_log:coordinator_data:ts1_data:ts2_data:9.1.2 KubernetesHelm Chart# 添加 Fluss Helm Repositoryhelm repoaddfluss https://apache.github.io/fluss/ helm repo update# 安装 Fluss 集群helminstallfluss-cluster fluss/fluss\--namespacefluss\--create-namespace\--setcoordinator.replicas3\--settabletServer.replicas6\--settabletServer.resources.requests.memory16Gi\--settabletServer.resources.requests.cpu4\--setpersistence.size500Gi\--setzookeeper.enabledfalse\--sets3.endpointhttps://s3.amazonaws.com\--sets3.bucketmy-fluss-bucketHelm values 关键配置# values.yaml (关键部分)coordinator:replicas:3# 高可用3 个 Coordinatorresources:requests:memory:8Gicpu:2limits:memory:16Gicpu:4tabletServer:replicas:6resources:requests:memory:32Gi# TabletServer 需要较大内存cpu:8persistence:size:1Ti# 本地 SSD 用于 Hot Tierconfig:# JVM 配置heapSize:28gdirectMemorySize:4g# Arrow 使用堆外内存# RocksDB 配置kvStoreBlockCacheSize:8gkvStoreWriteBufferSize:256m9.1.3 裸机部署# 下载 Flusswgethttps://dlcdn.apache.org/fluss/0.9.1/fluss-0.9.1-bin.tar.gztar-xzffluss-0.9.1-bin.tar.gzcdfluss-0.9.1# 配置 conf/fluss-conf.yamlcatconf/fluss-conf.yamlEOF # ZooKeeper zookeeper.address: zk1:2181,zk2:2181,zk3:2181 # Coordinator coordinator.host: coord-1 coordinator.port: 9123 # TabletServer tablet.server.host: ts-1 data.dir: /data/fluss # 远程存储S3 remote.data.dir: s3://my-bucket/fluss/ s3.endpoint: https://s3.amazonaws.com s3.access-key: YOUR_KEY s3.secret-key: YOUR_SECRET # 日志 log.dir: /var/log/fluss EOF# 启动bin/fluss-coordinator.sh start bin/fluss-tablet-server.sh start# 验证bin/fluss-cluster.sh status9.2 集群关键配置参数9.2.1 CoordinatorServer 参数参数默认值推荐值说明coordinator.port91239123RPC 端口zookeeper.addresslocalhost:2181zk1:2181,zk2:2181ZK 地址zookeeper.session.timeout30000ms60000msZK 会话超时tablet.assignment.balance.interval300s300sRebalance 检查间隔coordinator.heap.size4g8g-16gJVM 堆大小9.2.2 TabletServer 参数参数默认值推荐值说明data.dir/tmp/fluss/data/fluss数据目录SSD推荐log.segment.size1GB1GB-4GBLog Segment 大小log.segment.retention.hours72h24h-72hSegment 保留时间kv.store.block.cache.size256MB4GB-16GBRocksDB Block Cachekv.store.write.buffer.size64MB128MB-256MB写缓冲区大小9.3 监控指标9.3.1 Fluss Metrics 架构Fluss 使用 fluss-metrics 模块暴露指标支持 Prometheus 格式 TabletServer 关键指标 ├── fluss_tablet_log_write_rate # 日志写入速率 (records/sec) ├── fluss_tablet_log_read_rate # 日志读取速率 ├── fluss_tablet_kv_put_rate # KV 写入速率 ├── fluss_tablet_kv_get_rate # KV 读取速率 ├── fluss_tablet_kv_get_latency_p99 # KV P99 延迟 ├── fluss_tablet_disk_usage_bytes # 磁盘使用量 ├── fluss_tablet_segment_count # Segment 数量 ├── fluss_tablet_active_connections # 活跃连接数 └── fluss_tablet_tiering_offset_lag # Tiering 延迟 CoordinatorServer 关键指标 ├── fluss_coordinator_active_tablets # 活跃 Tablet 数 ├── fluss_coordinator_under_replicated # 副本不足的 Tablet ├── fluss_coordinator_rebalance_count # Rebalance 次数 └── fluss_coordinator_request_latency # 请求延迟9.3.2 Prometheus 配置# prometheus.ymlscrape_configs:-job_name:fluss-coordinatorstatic_configs:-targets:[coord-1:9249,coord-2:9249,coord-3:9249]metrics_path:/metrics-job_name:fluss-tablet-serverstatic_configs:-targets:-ts-1:9250-ts-2:9250-ts-3:9250-ts-4:9250-ts-5:9250-ts-6:9250metrics_path:/metrics9.3.3 Grafana Dashboard关键告警规则# alerting_rules.ymlgroups:-name:fluss_alertsrules:-alert:TabletServerDownexpr:up{jobfluss-tablet-server} 0for:1mlabels:severity:criticalannotations:summary:TabletServer {{ $labels.instance }} is down-alert:HighKvLatencyexpr:fluss_tablet_kv_get_latency_p99100for:5mlabels:severity:warningannotations:summary:KvStore P99 latency 100ms on {{ $labels.instance }}-alert:DiskUsageHighexpr:fluss_tablet_disk_usage_bytes / fluss_tablet_disk_total_bytes0.85for:10mlabels:severity:warningannotations:summary:Disk usage 85% on {{ $labels.instance }}-alert:TieringLagexpr:fluss_tablet_tiering_offset_lag10000000for:15mlabels:severity:warningannotations:summary:Tiering lag 10M records on {{ $labels.instance }}9.4 Top 10 故障排查故障 1OOM内存溢出症状TabletServer 进程频繁重启日志中有 OutOfMemoryError 排查 1. 检查 JVM 堆配置bin/fluss-tablet-server.sh -Xmx? 2. 检查堆外内存Direct MemoryArrow RecordBatch 使用 Direct Memory 3. 检查 RocksDB Block Cache 大小 解决 # 增加 JVM 堆 export FLUSS_HEAP_OPTS-Xms16g -Xmx16g # 增加 Direct Memory export FLUSS_DIRECT_MEMORY-XX:MaxDirectMemorySize8g # 降低 Block Cache SET kv.store.block.cache.size 2g故障 2磁盘写满症状写入报错 No space left on device 排查 1. df -h 检查磁盘使用率 2. 检查 LogSegment 保留策略是否正确 3. 检查 Tiering 是否正常工作 解决 # 清理过期 Segment bin/fluss-cleanup.sh --older-than 24h # 或缩短保留时间 ALTER TABLE orders SET (log.segment.retention.hours 24); # 确保 Tiering 正常运行 # 查看 Tiering 延迟 curl http://coordinator:9249/metrics | grep tiering_offset_lag故障 3网络分区症状部分 TabletServer 不可达Leader 切换频繁 排查 1. ping/telnet 检查网络连通性 2. 检查 ZooKeeper 是否正常echo stat | nc zk 2181 3. 检查 Coordinator 日志中的连接超时 解决 # 增加网络超时 SET zookeeper.session.timeout 120000 # 重启受影响的 TabletServer bin/fluss-tablet-server.sh restart故障 4数据倾斜症状部分 TabletServer 负载过高I/O 和 CPU 不均衡 排查 1. 检查各 TabletServer 的 Tablet 数量分布 2. 检查热点 Bucket写入 QPS 最高的 Bucket 解决 # 增加 Bucket 数量 ALTER TABLE hot_table SET (bucket.num 64); # 触发手动 Rebalance bin/fluss-rebalance.sh --table hot_table故障 5Checkpoint 失败症状Flink 任务 Checkpoint 超时 排查 1. Flink UI 查看 Checkpoint 历史 2. Fluss 日志中是否有慢写入 解决 # 增加 Checkpoint 超时 env.enableCheckpointing(300000); // 5 分钟 # 减少 Flink 并行度或增加 Fluss TabletServer故障 6RocksDB Compaction 卡顿症状KvStore 写入延迟飙升 排查 1. 检查 RocksDB 日志中的 Compaction 统计 2. 检查是否触发了 Level 0 → Level 1 的大 Compaction 解决 # 增加写缓冲区 SET kv.store.write.buffer.size 256m SET kv.store.max.write.buffer.number 4 # 限制后台 Compaction 线程 SET kv.store.max.background.compactions 2故障 7ZooKeeper 连接超时症状CoordinatorServer 不断重连 ZooKeeper 解决 # 增加 ZK 超时 SET zookeeper.connection.timeout 30000 SET zookeeper.session.timeout 120000故障 8S3 上传失败症状Tiering Service 日志报 S3 错误 排查 1. 验证 S3 凭证是否过期 2. 检查网络是否可达 S3 endpoint 解决 # 更新凭证 SET s3.access-key NEW_KEY SET s3.secret-key NEW_SECRET # 使用 AssumeRole SET s3.credentials.provider STSAssumeRoleSessionCredentialsProvider SET s3.role.arn arn:aws:iam::123456789:role/FlussTieringRole故障 9Schema 不兼容症状写入报 Schema 错误 排查 1. 检查写入数据的 Schema 是否与表 Schema 匹配 2. 是否存在未知的新列 解决 # 添加缺失的列 ALTER TABLE my_table ADD COLUMN new_field STRING;故障 10Flink Connector 版本不匹配症状ClassNotFoundException 或 MethodNotFoundException 解决 # 确 Flink 与 Fluss 版本兼容 # Fluss 0.9.1 支持 Flink 1.18 / 1.19 / 1.20 / 2.2 dependency groupIdorg.apache.fluss/groupId artifactIdfluss-flink-${您的Flink主版本}/artifactId version0.9.1/version /dependency9.5 备份与恢复9.5.1 备份策略数据备份层次 Hot Tier (Fluss) ├── LogTablet通过 ISR 副本天然备份3 副本 └── KvTablet通过 WAL Remote Storage Snapshot 备份 Cold Tier (Iceberg/Paimon) └── Parquet 文件在 S3 上天然持久化 版本管理 Metadata (ZooKeeper) └── 定期备份 ZK 数据目录9.5.2 灾难恢复# 1. 恢复 ZooKeeper 元数据cp/backup/zookeeper/version-2/* /data/zookeeper/version-2/# 2. 启动新集群bin/fluss-coordinator.sh start bin/fluss-tablet-server.sh start# 3. 从 Remote Storage 恢复 KvStore# Fluss 自动检测本地缺失的 KvTablet 并从 Remote Storage 下载 Snapshot# 然后从 LogTablet 重放 WAL 恢复到最新状态# 4. 验证恢复bin/fluss-cluster.sh status bin/fluss-cluster.sh verify-tables9.6 总结与下一篇预告运维领域关键工具/参数部署Docker Compose、Helm Chart、裸机部署三种方式监控fluss-metrics → Prometheus → Grafana告警TabletServer Down、高延迟、磁盘满、Tiering 延迟故障排查10 大常见故障OOM、磁盘满、网络分区、数据倾斜等扩缩容ALTER TABLE bucket.num bin/fluss-rebalance.sh备份恢复ISR 副本 Remote Storage Snapshot WAL 重放下一篇也是最后一篇——我们将通过 5 个完整的生产级实战案例展示 Fluss 在电商大屏、特征存储、CDC 管道、风控系统、客户 360 等场景中的端到端解决方案。本文基于 Apache Fluss 0.9.1 运维实践。项目 GitHub: https://github.com/apache/fluss

相关新闻

Axios网络错误ERR_CONNECTION_REFUSED：从TCP原理到实战排查指南

Axios网络错误ERR_CONNECTION_REFUSED：从TCP原理到实战排查指南

1. 问题初探：当你的前端应用突然“失联” 作为一名常年和前后端打交道的开发者，你一定遇到过这种场景：前端页面运行得好好的，一个表单提交或者一个数据拉取操作，浏览器控制台突然就抛出一个刺眼的红色错误。定睛一看&a…

2026/10/20 15:33:21 阅读更多 →
GitHub Trending榜首项目解析：自改进AI Agent的技术实现与生态关联

GitHub Trending榜首项目解析：自改进AI Agent的技术实现与生态关联

1. 项目概述：GitHub Trending 的“今日头条”每天打开GitHub Trending，就像技术圈的“今日头条”，它实时滚动着全球开发者用代码投票选出的热点。今天榜单的格局就很有意思，一个名为“自改进Agent”的项目首日发布便强势登顶&…

2026/10/18 7:27:21 阅读更多 →
大模型无状态设计解析：从上下文窗口到外部记忆体的工程实践

大模型无状态设计解析：从上下文窗口到外部记忆体的工程实践

1. 从一次“失忆”的对话说起：大模型的“金鱼脑”现象如果你用过市面上任何一个主流的大语言模型（LLM），比如ChatGPT、Claude或者国内的文心一言、通义千问，大概率遇到过这样的场景：你兴致勃勃地跟它聊了十几…

2026/10/20 0:49:09 阅读更多 →

最新新闻

用Wireshark嗅探ESP32的Wi-Fi通信：读懂802.11帧实战解析

用Wireshark嗅探ESP32的Wi-Fi通信：读懂802.11帧实战解析

我一直觉得，搞 Wi-Fi 通信的开发者，手里不能只有串口日志和 AT 指令回显。很多时候设备报“连接失败”或者“数据发不出去”，从日志里看一切正常，但真正的问题出在空气里——电磁波上承载的那些 802.11 帧说了什么，你根…

2026/10/20 15:33:25 阅读更多 →
libnids源码深度注释：TCP流重组与IP分片实战解析

libnids源码深度注释：TCP流重组与IP分片实战解析

简介：这份资源是 libnids 1.20 源码的深度解读版本，作者在原始代码基础上补充了大量中文注释，面向网络安全方向的学习者、入侵检测系统开发者以及需要理解 TCP/IP 协议栈实现细节的工程师。libnids 作为经典的开源网络入侵检测库，…

2026/10/20 15:33:25 阅读更多 →
技能提升的底层逻辑：体系搭建、刻意练习与能力沉淀

技能提升的底层逻辑：体系搭建、刻意练习与能力沉淀

1. 内容概览：为什么"skills"值得单独拎出来聊标题就一个词，skills，但越简单的词往往越容易糊弄过去。不少人在简历里写"熟练掌握XX技能"，问到底掌握到什么程度，答不上来；也有人天天刷教…

2026/10/20 15:33:25 阅读更多 →
敏捷开发中的需求审批与变更管理：从失控到轻量协同

敏捷开发中的需求审批与变更管理：从失控到轻量协同

1. 先搞清楚：敏捷里的“需求审批”到底在反对什么1.1 传统审批的机械流程为什么让人讨厌我最早接触敏捷的时候，带我的老前辈说过一句特别狠的话：“审批一多，敏捷就死了。”当时我深以为然，因为那时候团队刚从一个重型流…

2026/10/20 15:33:25 阅读更多 →
AI声音克隆配音接单实战：从零搭建生产线，成本压到零

AI声音克隆配音接单实战：从零搭建生产线，成本压到零

1. 配音接单这门生意，成本结构到底长什么样先算一笔账。传统配音接单，如果你自己上，设备投入是麦克风加声卡加监听耳机，入门级一套下来一千到三千不等，稍微像样点的电容麦加专业声卡直接奔五千。这还只是硬件&#xff…

2026/10/20 15:33:25 阅读更多 →
Maltego双平台配置实战：从Java环境到关联分析图谱

Maltego双平台配置实战：从Java环境到关联分析图谱

做安全分析、做资产梳理、做事件调查的人，迟早会和Maltego这个工具打交道。它是一款开源信息收集与关联分析工具，擅长把域名、IP、邮箱、账号、证书这类零散信息，整理成一张可以交互操作的关系图谱。我第一次在别人的演示里看到它把一个IP展开…

2026/10/20 15:32:23 阅读更多 →

日新闻

CLRC663芯片Pin-to-Pin替代实战：从评估到量产全记录

CLRC663芯片Pin-to-Pin替代实战：从评估到量产全记录

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 1:01:30 阅读更多 →
ESP32舵机控制指南：原理、多路驱动与避坑实战

ESP32舵机控制指南：原理、多路驱动与避坑实战

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 1:01:30 阅读更多 →
位移法实现一阶低通滤波：单片机ADC采样降噪实战

位移法实现一阶低通滤波：单片机ADC采样降噪实战

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 1:01:30 阅读更多 →

周新闻

基于GMM的语音识别系统原理与MATLAB实现详解

基于GMM的语音识别系统原理与MATLAB实现详解

说到基于高斯混合模型（GMM）的语音识别系统，很多人第一反应就是一堆数学公式，觉得门槛很高。但如果你真的在MATLAB里把它落地跑通，会发现核心其实就是三件事：把声音变成特征向量，用GMM给每个类别…

2026/10/20 10:02:13 阅读更多 →
数字图像处理入门：反白、灰度化、调色板修改与导出txt实践

数字图像处理入门：反白、灰度化、调色板修改与导出txt实践

数字图像处理这四个字听起来挺唬人，但落到具体操作上，无非就是让计算机按你的想法“摆弄”像素。我在一个模拟项目X里用了一套特别经典的基础处理流程：对图像做反白、改调色板、彩色转灰度，最后把像素数据导出成txt文件。单看每一…

2026/10/19 17:32:41 阅读更多 →
机器人大脑技术盘点：具身智能的感知、决策与数据闭环

机器人大脑技术盘点：具身智能的感知、决策与数据闭环

如果你的信息流最近也天天刷到“机器人大脑”这个词，你会发现一个很有意思的现象：每个人说的“大脑”根本不是同一个东西。有人指的是大语言模型，有人指的是运动控制系统，还有人指的是能理解物理世界的端到端模型。在2026年这个时…

2026/10/20 2:50:50 阅读更多 →

月新闻

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 10:02:08 阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 9:50:17 阅读更多 →
黑夜航拍船只数据集训练YOLOV5模型全流程解析

黑夜航拍船只数据集训练YOLOV5模型全流程解析

/* MD / 富文本中的 .toc（含博客园搬家等嵌套结构）；.toc-box 在侧栏，不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p（:empty 仍占 20px），一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

2026/10/20 9:50:45 阅读更多 →