1. 问题现象与初步排查最近在维护一个线上nginx服务时遇到了一个诡异的问题客户端会偶发性收到400 Bad Request错误但复现率极低且没有明显规律。从日志中可以看到类似这样的记录2024/03/15 14:22:33 [error] 15247#0: *3814001 client sent invalid request while reading client request line, client: 192.168.1.100, server: example.com, request: GET /api/v1/user HTTP/1.1这种400错误最让人头疼的地方在于出现频率低每天约0.01%的请求无法通过常规手段稳定复现影响的是生产环境关键接口1.1 错误特征分析通过收集多台服务器上的错误日志发现这些400错误具有以下共同特征都发生在请求头解析阶段客户端IP分布没有明显规律请求方法既有GET也有POST出现时间不集中全天都有分布后端服务根本没有收到这些请求重要提示当nginx直接返回400且后端无访问记录时说明问题出在nginx的请求解析环节而非上游服务。2. 深入排查与根因定位2.1 抓包分析异常请求为了捕获问题请求的原始数据我们在测试环境进行了tcpdump抓包tcpdump -i eth0 -w nginx_400.pcap port 80 and host 192.168.1.100分析异常请求包发现两种典型情况请求行不完整部分请求缺少HTTP版本号GET /api/v1/user # 缺少HTTP/1.1头部字段异常Host: example.com User-Agent: curl/7.68.0 Connection: keep-alive Content-Length: 15 [空行] {test:123} # 请求体直接接在头部后面没有空行分隔2.2 nginx配置检查检查nginx相关配置参数http { client_header_buffer_size 4k; large_client_header_buffers 8 16k; client_body_buffer_size 128k; client_header_timeout 60s; client_body_timeout 60s; keepalive_timeout 75s; server { listen 80; server_name example.com; location /api/ { proxy_pass http://backend; proxy_set_header Host $host; } } }发现两个潜在风险点client_header_buffer_size4K对于某些带大量Cookie的请求可能不足没有配置ignore_invalid_headers选项2.3 压力测试复现使用wrk模拟高并发长连接场景wrk -t12 -c400 -d60s --timeout 2s http://example.com/api/v1/user在持续压测15分钟后成功复现400错误错误率约0.03%。结合strace跟踪nginx worker进程发现当出现400错误时会有如下系统调用recvfrom(12, GET /api/v1/user HTTP/1.1\r\nHost..., 1024, 0, NULL, NULL) 372 close(12)这表明nginx在读取请求时遇到了协议错误直接关闭了连接。3. 解决方案与优化措施3.1 调整缓冲区配置修改nginx配置解决缓冲区问题http { # 调大header缓冲区 client_header_buffer_size 8k; large_client_header_buffers 4 32k; # 忽略非标准头部字段 ignore_invalid_headers on; # 防止请求体过大导致的问题 client_max_body_size 10m; client_body_buffer_size 1m; # 超时设置优化 client_header_timeout 30s; client_body_timeout 30s; keepalive_timeout 65s; send_timeout 30s; }3.2 TCP协议栈优化调整系统内核参数防止TCP连接问题# 增加最大文件描述符数量 sysctl -w fs.file-max1048576 # TCP keepalive优化 sysctl -w net.ipv4.tcp_keepalive_time600 sysctl -w net.ipv4.tcp_keepalive_probes3 sysctl -w net.ipv4.tcp_keepalive_intvl15 # TIME_WAIT回收加速 sysctl -w net.ipv4.tcp_tw_reuse1 sysctl -w net.ipv4.tcp_fin_timeout303.3 日志增强配置增加更详细的错误日志记录http { log_format debug $remote_addr - $remote_user [$time_local] $request $status $body_bytes_sent $http_referer $http_user_agent req_len:$request_length req_time:$request_time upstream:$upstream_addr ups_status:$upstream_status; server { access_log /var/log/nginx/access.log debug; error_log /var/log/nginx/error.log warn; } }4. 深度分析与原理剖析4.1 nginx请求解析机制nginx处理HTTP请求分为几个关键阶段连接建立接受TCP连接创建ngx_connection_t结构体请求行解析读取并解析METHOD URI VERSION头部解析逐行读取header字段请求体处理对于POST/PUT等有body的请求当出现以下情况时nginx会直接返回400请求行不符合RFC标准缺少方法/URI/版本号头部字段包含非法字符如换行符、控制字符Content-Length与实际body长度不符请求超时默认60秒4.2 常见触发场景通过分析我们发现以下场景容易触发偶发400错误网络抖动导致TCP包不完整客户端发送的请求被分片传输中间网络设备修改了TCP包客户端异常断开连接客户端SDK的bug某些移动端SDK在特定网络切换时可能发送不完整请求长连接复用时的协议错误负载均衡器问题某些云厂商的LB可能对HTTP协议做特殊处理TCP连接超时设置不一致4.3 内核参数影响通过实验发现以下内核参数会影响nginx的稳定性参数默认值推荐值作用net.core.somaxconn1284096最大连接队列长度net.ipv4.tcp_max_syn_backlog5124096SYN队列长度net.ipv4.tcp_syncookies11防止SYN洪水攻击net.ipv4.tcp_max_tw_buckets32768200000TIME_WAIT数量限制5. 长效监控与预防措施5.1 Prometheus监控配置在nginx中嵌入prometheus监控server { location /metrics { stub_status on; access_log off; allow 127.0.0.1; deny all; } }关键监控指标nginx_http_requests_total{status400}nginx_http_request_errors_totalnginx_http_connections_active5.2 告警规则示例配置Prometheus告警规则groups: - name: nginx-alerts rules: - alert: High400ErrorRate expr: rate(nginx_http_requests_total{status400}[5m]) / rate(nginx_http_requests_total[5m]) 0.005 for: 10m labels: severity: warning annotations: summary: High rate of 400 errors on {{ $labels.instance }} description: 400 error rate is {{ printf \%.2f\ $value }}%5.3 客户端重试策略建议客户端实现指数退避重试import requests from time import sleep def request_with_retry(url, max_retries3): for attempt in range(max_retries): try: resp requests.get(url, timeout10) resp.raise_for_status() return resp except requests.exceptions.HTTPError as e: if e.response.status_code 500: raise # 4xx错误不重试 sleep(2 ** attempt) # 指数退避 raise Exception(fRequest failed after {max_retries} attempts)6. 经验总结与最佳实践经过这次排查总结出以下nginx运维经验缓冲区不是越大越好过大的client_header_buffer_size会增加内存消耗建议根据实际请求的90分位值设置超时设置要匹配业务移动端应用建议client_header_timeout不超过30秒API网关可以适当缩短到10-15秒连接管理要点监控TIME_WAIT状态连接数合理设置keepalive_requests建议1000-10000日志分析技巧使用$request_length识别异常大请求通过$upstream_status区分nginx与后端错误客户端兼容性建议确保客户端正确实现HTTP/1.1在SDK中加入请求完整性校验对关键请求实现自动重试机制