1. 网络通信中的并发困境在Linux网络编程中最经典的C/S模型是每个连接创建一个线程/进程。这种模式在小规模场景下运行良好但当并发连接数达到数百甚至上千时系统资源就会被大量消耗在线程切换和内存占用上。我曾经维护过一个使用传统多线程模型的在线服务当用户量突破5000时服务器直接因为线程爆炸而崩溃。2. IO多路复用技术解析2.1 核心原理与优势IO多路复用本质上是让单个线程能够监视多个文件描述符通常是socket的状态变化。当其中任何一个描述符就绪可读/可写/异常时线程就会得到通知。这种机制完全避免了为每个连接创建独立线程的开销使得单线程就能处理成千上万的网络连接。2.2 三种实现方案对比Linux平台提供了三种主要的IO多路复用实现select最古老的实现存在以下问题文件描述符上限通常1024需要每次调用时复制整个描述符集合线性扫描所有描述符效率低下poll改进了select的部分限制突破了文件描述符数量限制采用链表存储避免了复制开销但仍然需要线性扫描epollLinux特有的高效实现使用红黑树存储描述符仅返回就绪的描述符支持边缘触发(ET)和水平触发(LT)模式实际项目中epoll的性能通常比select/poll高出一个数量级。在我的压力测试中epoll处理10万并发连接时CPU占用率仅为15%而select已经完全无法响应。3. epoll深度剖析3.1 关键API使用// 创建epoll实例 int epoll_create(int size); // 注册/修改/删除事件 int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event); // 等待事件发生 int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);3.2 边缘触发(ET) vs 水平触发(LT)水平触发默认模式只要文件描述符处于就绪状态每次epoll_wait都会返回编程模型更简单可能造成不必要的唤醒边缘触发仅在状态变化时通知一次必须一次性处理完所有数据性能更高但编程更复杂// ET模式示例 struct epoll_event ev; ev.events EPOLLIN | EPOLLET; // 设置ET标志 epoll_ctl(epfd, EPOLL_CTL_ADD, sockfd, ev);4. 完整并发模型实现4.1 Reactor模式实现#define MAX_EVENTS 1024 struct epoll_event events[MAX_EVENTS]; int epfd epoll_create1(0); // 添加监听socket到epoll struct epoll_event ev; ev.events EPOLLIN; ev.data.fd listen_fd; epoll_ctl(epfd, EPOLL_CTL_ADD, listen_fd, ev); while(1) { int nfds epoll_wait(epfd, events, MAX_EVENTS, -1); for(int i 0; i nfds; i) { if(events[i].data.fd listen_fd) { // 处理新连接 int conn_fd accept(listen_fd, ...); ev.events EPOLLIN | EPOLLET; ev.data.fd conn_fd; epoll_ctl(epfd, EPOLL_CTL_ADD, conn_fd, ev); } else { // 处理已连接socket的IO handle_io(events[i].data.fd); } } }4.2 性能优化技巧事件循环优化合理设置epoll_wait超时时间使用timerfd整合定时任务避免在事件循环中进行阻塞操作连接管理使用连接池减少内存分配实现优雅关闭机制心跳包检测死连接缓冲区设计每个连接维护独立的读写缓冲区使用分散/聚集IO减少内存拷贝实现应用层协议解析状态机5. 实战问题排查5.1 常见问题与解决方案问题现象可能原因解决方案epoll_wait频繁返回0过早移除文件描述符确保处理完所有数据后再移除CPU占用率100%事件循环空转添加适当的epoll_wait超时连接数达到上限文件描述符泄漏使用lsof检查泄漏点数据传输不完整ET模式未完全读取循环读取直到EAGAIN5.2 性能调优记录在我的一个高并发代理服务器项目中通过以下调整将QPS从8k提升到35k将默认的LT模式改为ET模式为每个连接预分配读写缓冲区使用SO_REUSEPORT实现多进程负载均衡调整内核参数echo 1024 /proc/sys/net/core/somaxconn echo 1 /proc/sys/net/ipv4/tcp_tw_reuse6. 现代替代方案虽然epoll在Linux上表现优异但其他平台也有类似机制kqueueFreeBSD/MacOS的高效IO多路复用IOCPWindows的完成端口模型io_uringLinux新一代异步IO接口对于跨平台项目可以考虑libevent、libuv等抽象库。我在移植一个网络服务到Windows时使用libevent只需修改几行初始化代码就完成了从epoll到IOCP的切换。