干货分享Gateway踩坑实录:Netty直接内存把网关吃垮了OutOfDirectMemoryError
用户反馈请求生产网关springcloud gateway突然偶发性返回500异常赶紧上线检查服务发现有个别实例日志里开始零星出现 OutOfDirectMemoryError频率还有逐渐升高的趋势过不了一会服务基本不可用了出现健康检测异常。完整报错信息是这样的io.netty.util.internal.OutOfDirectMemoryError: failed to allocate 16777216 byte(s) of direct memory (used: 1006632967, max: 1013645312) 1G at io.netty.util.internal.PlatformDependent.incrementMemoryCounter(PlatformDependent.java:667) at io.netty.util.internal.PlatformDependent.allocateDirectNoCleaner(PlatformDependent.java:622) at io.netty.buffer.PoolArena$DirectArena.allocateDirect(PoolArena.java:772) at io.netty.buffer.PoolArena$DirectArena.newChunk(PoolArena.java:748) at io.netty.buffer.PoolArena.allocateNormal(PoolArena.java:245) at io.netty.buffer.PoolArena.allocate(PoolArena.java:227) at io.netty.buffer.PoolArena.allocate(PoolArena.java:147) at io.netty.buffer.PooledByteBufAllocator.newDirectBuffer(PooledByteBufAllocator.java:342)大致意思是16MB 的分配请求被拒此时直接内存已经用掉了 1006632967 字节约 960MB上限是 1013645312 字节约 967MB。Netty 在 Epoll 事件循环里试图给 TCP 连接分配接收缓冲区的时候发现直接内存已经见底了直接抛了异常。这个问题影响的是我们的主网关。网关一旦挂掉所有经过它转发的请求全断影响面不小。开始排查看 JVM 参数服务设置了堆内容参数:-Xms1000m -Xmx1000m但也只设了堆内存 1000m对一般的服务这也没有什么问题但对统一入口网关没有设置 -XX:MaxDirectMemorySize。这是个关键遗漏。JVM 在没显式设置这个参数的时候会把 MaxDirectMemorySize 默认取 -Xmx 的值也就是大约 1000MB。再扣掉 JVM 自身的一些开销实际可用的直接内存大概 967MB跟报错里的 max: 1013645312 完全对得上。而我们K8s Deployment 里容器内存限制是 1500Mi堆就吃了 1000MB留给直接内存和其他 JVM 开销的空间本来就很紧张。关于内存回收这一块直接内存Direct Memory是通过ByteBuffer.allocateDirect方法分配的它与堆内存不同直接内存不是由垃圾回收器GC管理的。直接内存的分配和释放是由操作系统的内存管理机制处理的如果系统异常没有来得及回收则直接内存将一直往上涨直到引起服务重启。搞清楚直接内存被谁吃了Spring Cloud Gateway 底层是 reactor-netty所有的 HTTP 请求收发、连接管理都走的 Netty 的 PooledByteBufAllocator也就是直接在堆外内存分配 ByteBuf。这是正常行为网关天生就会大量使用直接内存。但问题是光 Netty 自身的 I/O 缓冲不至于把 967MB 吃光。真正的问题出在我们自己写的 Filter 里。代码里面跟直接内存相关的定位到 GatewayContextFilter这个 Filter 做的事情是缓存请求体——对 JSON 和 Form 类型的 POST 请求把 Body 读出来存到 GatewayContext 里方便后续的鉴权、签名校验、日志等 Filter 使用。看 readBody() 方法的核心逻辑return DataBufferUtils.join(exchange.getRequest().getBody()) .flatMap(dataBuffer - { byte[] bytes new byte[dataBuffer.readableByteCount()]; dataBuffer.read(bytes); DataBufferUtils.release(dataBuffer); // 这里释放了原始 buffer FluxDataBuffer cachedFlux Flux.defer(() - { DataBuffer buffer exchange.getResponse().bufferFactory().wrap(bytes); DataBufferUtils.retain(buffer); // 这里又 retain 了一个新 buffer return Mono.just(buffer); }); // ... 用 cachedFlux 重建 request继续走 filter chain });这里有几个问题第一没有大小限制。不管请求体多大都往里读。来个 50MB 的文件上传也照读不误直接就在直接内存里分配 50MB 的 ByteBuf。第二retain() 增加了引用计数但缺乏可靠的释放保障。代码里确实 release了原始的dataBuffer但后面 cachedFlux 里 retain() 出来的新 buffer它的释放完全依赖下游 Filter 链正常消费。一旦下游出现异常、Hystrix 熔断超时这个 buffer 就可能不会被释放。在高并发场景下这些没释放的 buffer 会逐渐蚕食直接内存。第三readBody 的 flatMap 没有 onErrorResume 或 doFinally 兜底。如果 DataBufferUtils.join() 过程中连接断开或者下游报错中间态的 buffer 直接就成了孤儿。自定义的AccessLogFilter 也可能存在问题Flux? extends DataBuffer fluxBody (Flux? extends DataBuffer) body; return super.writeWith(fluxBody.buffer().map(dataBuffer - { DataBufferFactory dataBufferFactory new DefaultDataBufferFactory(); DataBuffer join dataBufferFactory.join(dataBuffer); byte[] content new byte[join.readableByteCount()]; join.read(content); DataBufferUtils.release(join); responseBody.set(new String(content, StandardCharsets.UTF_8)); return bufferFactory.wrap(content); }));这个 Filter 把响应体全部聚合到内存里做日志记录。bufferFactory.wrap(content) 用的是 response 的 bufferFactory在 Netty 环境下这就是直接内存分配。而且 .buffer() 操作会把所有响应数据块攒到一起再处理如果是大响应体直接就可能直接爆了。解决方案平时流量低的时候这些问题被掩盖了。一旦并发上来或者碰上几个大请求同时进来直接内存就被打爆了。赶紧止血显式设置 -XX:MaxDirectMemorySize1000m加上 -XX:UseG1GC。堆和直接内存隔离开谁也别挤占谁的空间。K8s 容器内存限制从 1500Mi 提到 2500Mi给 JVM 留足呼吸空间。根治措施在 GatewayContextFilter 里加了 MAX_CACHE_BODY_SIZE 1MB 的门槛超过 1MB 的请求体直接跳过缓存记一行 warn 日志。同时对 readBody() 的响应式链路补了 doFinally 保障资源释放。AccessLogFilter 那边也做了相应的限制。这次问题的反应了我们对 Netty 直接内存这个概念缺乏足够认知。写 Java 的人习惯了只关心堆内存GC 日志一看没问题就觉得万事大吉。但在 Netty 体系下直接内存是一个独立的、不受 GC 管控的内存区域它的分配和释放需要开发者自己操心。而Spring Cloud Gateway 把 Netty 包了一层又一层用起来是方便了但底层 ByteBuf 的生命周期管理并没有被完全屏蔽掉。另外就是 Filter 这种链式架构写的时候只想着正向流程怎么跑通对异常路径下的资源回收考虑不够。还有一个教训是配置管理方面的。-XX:MaxDirectMemorySize 这种关键参数应该显式设置而不是依赖默认值。默认值在大多数场景下是够用的但网关这种重度依赖直接内存的组件不行必须自己兜住。

相关新闻

SpotiFLAC 自动歌词:3 步为整张专辑批量下载 LRC 并嵌入 FLAC

SpotiFLAC 自动歌词:3 步为整张专辑批量下载 LRC 并嵌入 FLAC

SpotiFLAC 自动歌词:3 步为整张专辑批量下载 LRC 并嵌入 FLAC 【免费下载链接】SpotiFLAC Get Spotify tracks in true FLAC from Tidal, Qobuz & Amazon Music — no account required. 项目地址: https://gitcode.com/GitHub_Trending/sp/SpotiFLAC 整…

2026/11/19 22:27:17 阅读更多 →
扫描件PDF文字识别:用Umi-OCR批量OCR手把手

扫描件PDF文字识别:用Umi-OCR批量OCR手把手

扫描件PDF文字识别:用Umi-OCR批量OCR手把手 【免费下载链接】Umi-OCR OCR software, free and offline. 开源、免费的离线OCR软件。支持截屏/批量导入图片,PDF文档识别,排除水印/页眉页脚,扫描/生成二维码。内置多国语言库。 项…

2026/10/25 23:47:11 阅读更多 →
SQL注入流程——基于sqli-labs靶场(小白练习记录)

SQL注入流程——基于sqli-labs靶场(小白练习记录)

SQL Injection Process — Based on the sqli-labs Range (Beginner Practice Notes) 前言 网上能查阅到许多关于SQL注入的内容,经过对不同文章的阅读,新手会发现有好多注入的通关方式:盲注、报错注入,post注入、文件读写注入等等…

2026/10/24 17:33:30 阅读更多 →

最新新闻

Electron桌面应用开发实战:从环境搭建到打包发布全流程

Electron桌面应用开发实战:从环境搭建到打包发布全流程

做前端这些年,我大部分时间都在跟浏览器标签页打交道,直到第一次把桌面应用跑起来,才发现原来自己一直被限制在地址栏和刷新按钮围起来的框框里。Electron这个词,最开始是在某段时间频繁出现在同事的讨论里,一个用HTML…

2026/11/19 21:38:27 阅读更多 →
滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

滑盖智能锁T109深度解析:结构原理、安装调试与故障排查

简介:亚太天能T109滑盖智能锁产品说明书是一份PDF格式的官方技术文档,主要面向智能锁安装人员、终端用户及售后维护者,帮助快速掌握产品安装、配置与常见故障处理。全包仅1个PDF文件,大小4.37MB,内容结构清晰&#xff…

2026/11/19 21:38:49 阅读更多 →
PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

PMSM弱磁控制原理与Simulink建模:高速AGV驱动系统设计指南

上个月我在调试一台高速AGV的驱动系统,整车要求空载跑到8m/s,电机转速已经拉到额定点,驱动器的输出电压也顶到了母线电压极限附近。再往上踩速度指令,转速纹丝不动,三相电流反而开始震荡。那会儿我的第一反应就是&…

2026/11/19 21:39:09 阅读更多 →
C++核心知识点:从内存管理到STL的实战指南

C++核心知识点:从内存管理到STL的实战指南

C 这门语言我前前后后折腾了十几年,用它写过嵌入式驱动、做过游戏服务端,也搭过基础组件库。每次看到新人一头扎进"C 核心知识点"这个搜索词,我其实挺感慨的——这门语言的难点从来不是语法多,而是知识点之间的耦合太深…

2026/11/19 21:36:50 阅读更多 →
T109滑盖智能锁怎么装?安装调试与故障排查全攻略

T109滑盖智能锁怎么装?安装调试与故障排查全攻略

简介:亚太天能T109滑盖智能锁产品说明书以PDF格式发布,适合智能锁用户、安装人员与售后维修人员阅读。内容围绕T109系列指纹密码刷卡锁展开,先介绍前面板、后面板、锁体、机械钥匙、电池盒盖等部件名称与功能,再给出完整安装步骤&…

2026/11/19 21:37:45 阅读更多 →
LLM知识降熵:从信息垄断到理解权下放

LLM知识降熵:从信息垄断到理解权下放

你有没有过这种经历:翻开源码注释、论文摘要或者一份专业报告,每个字都认识,连在一起却像天书。想找人聊聊,身边要么没人懂,要么懂的懒得跟你解释。后来我试着把同一段内容丢给一个大语言模型,几秒钟之后&a…

2026/11/19 21:36:20 阅读更多 →

日新闻

周新闻

月新闻