第五阶段 48 · 集群与分片调优、监控
48 · 集群与分片调优、监控阶段第五阶段 / 运维进阶ESshard 规划、_cat/_cluster监控、熔断器、段合并 | PostgreSQL分区规划、pg_stat_*、VACUUM1. 概念ES 的性能与稳定性很大程度取决于分片规划和资源健康shard分片索引被切成多个分片分布到节点每个分片是一个 Lucene 索引有固定开销。replica副本分片的拷贝提供高可用 读扩展。段合并mergeLucene 后台把小段合并成大段影响写入/查询性能。circuit breaker熔断器内存保护防止单个大请求打爆 JVM 堆。核心经验分片不是越多越好过多小分片over-sharding是最常见的性能杀手。2. PostgreSQL 对照ESPostgreSQL分片数规划分区数量/大小规划_cat/shards、_cluster/healthpg_stat_activity、pg_stat_user_tables段合并VACUUM/ autovacuumcircuit breakerwork_mem/ OOM 保护3. 关键命令Dev ToolsGET _cluster/health # green/yellow/red未分配分片数 GET _cat/nodes?vhname,heap.percent,cpu,load_1m,disk.used_percent GET _cat/indices?vsstore.size:desc # 各索引大小、文档数按大小排序 GET _cat/shards?vsstore:desc # 分片分布与大小 GET _nodes/stats/breaker # 熔断器触发情况 GET _cat/thread_pool/write,search?vhnode_name,name,active,queue,rejectedrejected不为 0 线程池打满被拒说明写/查压力过大或分片不合理。4. 分片规划经验法则单分片目标 10–50GB日志类可到 50GB检索类偏小。用总数据量估算分片数。分片总数受堆内存约束经验上每 GB 堆 ≤ ~20 个分片节点分片过多会拖慢元数据操作。小索引就 1 分片几百 MB 的索引别开 5 分片纯浪费。副本至少 1生产number_of_replicas ≥ 1才有高可用导入期可临时设 0 提速完成后加回。分片数创建后不可改只能 reindex第 33 篇或用shrink/split。规划要留量。5. Spring Boot 实现健康自检ComponentpublicclassDoc48ClusterOps{AutowiredprivateElasticsearchClientelasticsearchClient;/** 集群健康自检非 green 或有未分配分片就告警 */publicvoidhealthCheck()throwsIOException{HealthResponsehelasticsearchClient.cluster().health();if(h.status()!HealthStatus.Green||h.unassignedShards()0){log.warn(ES 集群异常 status{}, unassigned{}, activePercent{},h.status(),h.unassignedShards(),h.activeShardsPercentAsNumber());}}}importco.elastic.clients.elasticsearch.cluster.HealthResponse、co.elastic.clients.elasticsearch._types.HealthStatus。生产建议接入 Prometheus/Elastic 监控。6. 坑与最佳实践别 over-sharding小分片过多会拖垮集群合并小索引、用 rollover 控制分片大小。yellow ≠ 坏单节点开发时副本无处分配health 常年 yellow正常生产 red 才是数据不可用。写入慢先看 merge 和 refresh批量导入临时refresh_interval-1、replicas0第 31 篇。堆内存别超 ~31GB超过会失去指针压缩反而更差剩余内存留给文件系统缓存。熔断data too large报错说明请求/聚合太吃内存缩小范围或加节点别盲目调大 breaker 阈值。热点分片某分片读写远高于其它检查路由/数据倾斜。

相关新闻

YOLO26工业小目标检测实战:从模型优化到CPU边缘部署

YOLO26工业小目标检测实战:从模型优化到CPU边缘部署

1. 项目概述:当YOLO26遇上工业小目标最近在工业质检圈子里,一个话题讨论得挺热:怎么搞定那些芝麻粒大小的缺陷?比如PCB板上的虚焊点、纺织面料上的微小疵点,或者精密零件上的划痕。传统方案要么漏检严重,要…

2026/8/6 22:39:52 阅读更多 →
Python构建新闻信息流处理管道:从数据采集到存储的完整实践

Python构建新闻信息流处理管道:从数据采集到存储的完整实践

在实际技术项目中,处理多源、异构、实时更新的信息流是一个常见且复杂的挑战。无论是构建新闻聚合应用、舆情监控系统,还是企业内部的信息整合平台,都需要一套健壮的架构来应对数据抓取、清洗、分类、存储和实时展示的需求。本文将以一个模拟…

2026/8/6 13:43:08 阅读更多 →
UE5增强输入系统:从核心概念到项目迁移实战指南

UE5增强输入系统:从核心概念到项目迁移实战指南

1. 项目概述:为什么UE5的增强输入系统是必选项?如果你是从UE4时代一路走过来的开发者,或者正准备在UE5中构建一个需要复杂交互逻辑的项目,那么“输入系统”这个话题你一定绕不开。在UE4及更早的版本里,我们习惯在项目设…

2026/8/6 13:52:48 阅读更多 →

最新新闻

【RK3568 linux-6.6内核ttyS9只能收不能发送问题】

【RK3568 linux-6.6内核ttyS9只能收不能发送问题】

矿鸿1.3版本,rk3568使用linux-6.6内核驱动 1.问题描述 板卡启动成功,ttyS7正常收发,ttyS9只能收不能发送。 2.问题分析 2.1对比设备树uart7和uart9配置一致 //rs232-7 &uart7 {status "okay";pinctrl-names "default&qu…

2026/8/7 8:01:36 阅读更多 →
TVA-VLA架构:具身智能规模化落地关键支撑(3)

TVA-VLA架构:具身智能规模化落地关键支撑(3)

前沿技术探索:TVA智能体(简称TVA)TVA智能体(亦称“TVA视觉智能体”或“AI智能体视觉”)是依托Transformer架构与“因式智能体”理论构建的通用视觉技术框架。它深度融合深度强化学习(DRL)、卷积…

2026/8/7 8:01:36 阅读更多 →
80Gbps显示器认证不过?问题多半出在参考时钟上

80Gbps显示器认证不过?问题多半出在参考时钟上

说句实在话,ROG那台20周年纪念显示器能跑满80Gbps全带宽,技术底子确实够硬。但很多工程师做DP 2.1或HDMI 2.1项目时,认证卡壳是常态——眼图收窄、黑屏闪烁、链路训练失败,来来回回调板子就是过不了。说白了,问题多半出…

2026/8/7 8:01:36 阅读更多 →
立创EDA工程复用全攻略:从导入、检查到高级问题解决

立创EDA工程复用全攻略:从导入、检查到高级问题解决

1. 项目概述:从零到一,掌握立创EDA的工程复用艺术 在电子设计领域,尤其是PCB设计环节,重复造轮子是最低效的行为之一。无论是学习一个新器件的应用,还是验证一个复杂电路的功能,如果能直接站在别人的肩膀上…

2026/8/7 8:01:36 阅读更多 →
VRM4U中MToon轮廓线:原理、配置与性能优化全解析

VRM4U中MToon轮廓线:原理、配置与性能优化全解析

1. 项目概述:为什么MToon的轮廓线是VRM的灵魂 如果你在虚幻引擎里折腾过VRM模型,大概率遇到过这种情况:模型导进来了,骨骼动画也正常,但角色看起来就是“平”的,像一张纸片人贴在3D世界里,完全没…

2026/8/7 8:01:35 阅读更多 →
Go语言调试利器Delve:从原理到实战,告别Printf调试

Go语言调试利器Delve:从原理到实战,告别Printf调试

1. 项目概述:为什么我们需要一个Go专属调试器?如果你写过Go代码,肯定遇到过这种情况:程序运行结果不对,或者直接panic了,你本能地打开IDE,想打个断点看看变量值,结果发现IDE的调试功…

2026/8/7 8:00:35 阅读更多 →

日新闻

为什么scrcpy成为Android投屏的终极解决方案:完整实战指南

为什么scrcpy成为Android投屏的终极解决方案:完整实战指南

为什么scrcpy成为Android投屏的终极解决方案:完整实战指南 【免费下载链接】scrcpy Display and control your Android device 项目地址: https://gitcode.com/GitHub_Trending/sc/scrcpy 想要将Android手机屏幕完美投射到电脑上,享受大屏操作的自…

2026/8/7 0:00:19 阅读更多 →
如何在5分钟内掌握Tom Select:打造现代化表单选择器的终极指南

如何在5分钟内掌握Tom Select:打造现代化表单选择器的终极指南

如何在5分钟内掌握Tom Select:打造现代化表单选择器的终极指南 【免费下载链接】tom-select Tom Select is a lightweight (~16kb gzipped) hybrid of a textbox and select box. Forked from selectize.js to provide a framework agnostic autocomplete widget wi…

2026/8/7 0:00:19 阅读更多 →
5分钟快速上手:NSZ压缩工具终极指南,轻松管理Switch游戏文件

5分钟快速上手:NSZ压缩工具终极指南,轻松管理Switch游戏文件

5分钟快速上手:NSZ压缩工具终极指南,轻松管理Switch游戏文件 【免费下载链接】nsz NSZ - Homebrew compatible NSP/XCI compressor/decompressor 项目地址: https://gitcode.com/gh_mirrors/ns/nsz 你是否在为Nintendo Switch游戏文件占用大量存储…

2026/8/7 0:00:19 阅读更多 →

周新闻

最大流算法详解:从水管网络到Ford-Fulkerson与Dinic实战

最大流算法详解:从水管网络到Ford-Fulkerson与Dinic实战

1. 从水管网络到最大流:一个核心问题的诞生想象一下,你是一个城市供水系统的总工程师。你的城市有多个水源(水库),需要通过一个复杂的地下管道网络,将水输送到各个居民区。每条管道都有其最大通水能力&…

2026/8/6 22:02:27 阅读更多 →
基于Springboot的企业门户网站(源码+LW+调试文档+讲解)

基于Springboot的企业门户网站(源码+LW+调试文档+讲解)

温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:本人主页置顶文章(点我)开头有 CSDN 平台…

2026/8/6 22:02:27 阅读更多 →
MATLAB xcorr函数详解:从互相关原理到四大实战应用

MATLAB xcorr函数详解:从互相关原理到四大实战应用

1. 从一次信号“找茬”说起:为什么我们需要互相关几年前,我在处理一组声学传感器数据时遇到了一个棘手的问题。我有两个麦克风记录了一段相同的音频信号,理论上它们接收到的声音波形应该非常相似,只是由于麦克风位置不同&#xff…

2026/8/6 22:02:27 阅读更多 →

月新闻

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南

免费解锁百度网盘SVIP加速:macOS用户必备的下载提速终极指南 【免费下载链接】BaiduNetdiskPlugin-macOS For macOS.百度网盘 破解SVIP、下载速度限制~ 项目地址: https://gitcode.com/gh_mirrors/ba/BaiduNetdiskPlugin-macOS 还在为百度网盘macOS版的龟速下…

2026/8/5 23:28:39 阅读更多 →
终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换

终极ncmdump指南:3分钟实现网易云NCM音乐解密与格式转换 【免费下载链接】ncmdump 项目地址: https://gitcode.com/gh_mirrors/ncmd/ncmdump 还在为网易云音乐下载的NCM格式文件无法在其他播放器播放而烦恼吗?ncmdump解密工具帮你轻松解决这个困…

2026/8/6 22:02:28 阅读更多 →
HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

HarmonyOS 应用开发《掌上英语》第81篇: 智能体卡片:为英语学习 App 打造桌面级学习助手

AgentCard 智能体卡片:为英语学习 App 打造桌面级学习助手适用平台:HarmonyOS 7.0 (API 26 Beta)一、引言 HarmonyOS 7.0(API 26 Beta)新增了 AgentCard 智能体卡片能力,这是继 HMAF(鸿蒙智能体框架&#x…

2026/8/5 23:46:51 阅读更多 →