第五阶段 48 · 集群与分片调优、监控
48 · 集群与分片调优、监控阶段第五阶段 / 运维进阶ESshard 规划、_cat/_cluster监控、熔断器、段合并 | PostgreSQL分区规划、pg_stat_*、VACUUM1. 概念ES 的性能与稳定性很大程度取决于分片规划和资源健康shard分片索引被切成多个分片分布到节点每个分片是一个 Lucene 索引有固定开销。replica副本分片的拷贝提供高可用 读扩展。段合并mergeLucene 后台把小段合并成大段影响写入/查询性能。circuit breaker熔断器内存保护防止单个大请求打爆 JVM 堆。核心经验分片不是越多越好过多小分片over-sharding是最常见的性能杀手。2. PostgreSQL 对照ESPostgreSQL分片数规划分区数量/大小规划_cat/shards、_cluster/healthpg_stat_activity、pg_stat_user_tables段合并VACUUM/ autovacuumcircuit breakerwork_mem/ OOM 保护3. 关键命令Dev ToolsGET _cluster/health # green/yellow/red未分配分片数 GET _cat/nodes?vhname,heap.percent,cpu,load_1m,disk.used_percent GET _cat/indices?vsstore.size:desc # 各索引大小、文档数按大小排序 GET _cat/shards?vsstore:desc # 分片分布与大小 GET _nodes/stats/breaker # 熔断器触发情况 GET _cat/thread_pool/write,search?vhnode_name,name,active,queue,rejectedrejected不为 0 线程池打满被拒说明写/查压力过大或分片不合理。4. 分片规划经验法则单分片目标 10–50GB日志类可到 50GB检索类偏小。用总数据量估算分片数。分片总数受堆内存约束经验上每 GB 堆 ≤ ~20 个分片节点分片过多会拖慢元数据操作。小索引就 1 分片几百 MB 的索引别开 5 分片纯浪费。副本至少 1生产number_of_replicas ≥ 1才有高可用导入期可临时设 0 提速完成后加回。分片数创建后不可改只能 reindex第 33 篇或用shrink/split。规划要留量。5. Spring Boot 实现健康自检ComponentpublicclassDoc48ClusterOps{AutowiredprivateElasticsearchClientelasticsearchClient;/** 集群健康自检非 green 或有未分配分片就告警 */publicvoidhealthCheck()throwsIOException{HealthResponsehelasticsearchClient.cluster().health();if(h.status()!HealthStatus.Green||h.unassignedShards()0){log.warn(ES 集群异常 status{}, unassigned{}, activePercent{},h.status(),h.unassignedShards(),h.activeShardsPercentAsNumber());}}}importco.elastic.clients.elasticsearch.cluster.HealthResponse、co.elastic.clients.elasticsearch._types.HealthStatus。生产建议接入 Prometheus/Elastic 监控。6. 坑与最佳实践别 over-sharding小分片过多会拖垮集群合并小索引、用 rollover 控制分片大小。yellow ≠ 坏单节点开发时副本无处分配health 常年 yellow正常生产 red 才是数据不可用。写入慢先看 merge 和 refresh批量导入临时refresh_interval-1、replicas0第 31 篇。堆内存别超 ~31GB超过会失去指针压缩反而更差剩余内存留给文件系统缓存。熔断data too large报错说明请求/聚合太吃内存缩小范围或加节点别盲目调大 breaker 阈值。热点分片某分片读写远高于其它检查路由/数据倾斜。

相关新闻

YOLO26工业小目标检测实战:从模型优化到CPU边缘部署

YOLO26工业小目标检测实战:从模型优化到CPU边缘部署

1. 项目概述:当YOLO26遇上工业小目标最近在工业质检圈子里,一个话题讨论得挺热:怎么搞定那些芝麻粒大小的缺陷?比如PCB板上的虚焊点、纺织面料上的微小疵点,或者精密零件上的划痕。传统方案要么漏检严重,要…

2026/11/16 23:31:12 阅读更多 →
Python构建新闻信息流处理管道:从数据采集到存储的完整实践

Python构建新闻信息流处理管道:从数据采集到存储的完整实践

在实际技术项目中,处理多源、异构、实时更新的信息流是一个常见且复杂的挑战。无论是构建新闻聚合应用、舆情监控系统,还是企业内部的信息整合平台,都需要一套健壮的架构来应对数据抓取、清洗、分类、存储和实时展示的需求。本文将以一个模拟…

2026/11/16 23:29:40 阅读更多 →
UE5增强输入系统:从核心概念到项目迁移实战指南

UE5增强输入系统:从核心概念到项目迁移实战指南

1. 项目概述:为什么UE5的增强输入系统是必选项?如果你是从UE4时代一路走过来的开发者,或者正准备在UE5中构建一个需要复杂交互逻辑的项目,那么“输入系统”这个话题你一定绕不开。在UE4及更早的版本里,我们习惯在项目设…

2026/11/22 1:55:47 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/21 23:27:35 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/21 23:27:35 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/21 23:27:35 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/21 23:27:35 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/21 23:27:36 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/21 23:27:37 阅读更多 →

日新闻

周新闻

月新闻