【网络工程】epoll 深度剖析：ET/LT 模式、源码分析与性能特征
内容提要
本文介绍epoll网络编程与生产实践：内核用红黑树存储fd、就绪链表实现O(1)获取事件；对比LT/ET模式，ET需循环读到EAGAIN，性能略优但易出错；讨论EPOLLONESHOT防多线程竞争、SO_REUSEPORT解决惊群；并涵盖fd泄漏陷阱、timerfd/signalfd集成及与kqueue对比，强调LT更安全，适合多数应用。
延伸解读
ET 模式的高性能代价
ET 模式通过减少重复通知来提升性能，但要求开发者必须循环读取直到 EAGAIN，否则可能丢失数据。这种模式适合像 Nginx 这样追求极致性能且代码质量高的场景，但对大多数应用而言，LT 模式更安全、更不易出错。选择时需权衡性能提升与编程复杂度。
惊群问题的三种解法
惊群问题可通过 EPOLLEXCLUSIVE、SO_REUSEPORT 或 accept_mutex 解决。EPOLLEXCLUSIVE 仅唤醒一个进程，SO_REUSEPORT 让内核负载均衡，accept_mutex 则用互斥锁。Nginx 从 1.11.3 起默认使用 EPOLLEXCLUSIVE，而 SO_REUSEPORT 还能实现 CPU 亲和，减少上下文切换。
epoll 的工程陷阱
使用 epoll 时需注意 fd 泄漏、EPOLLHUP/EPOLLERR 处理以及 ET 模式下的写入问题。特别是 dup 后关闭 fd 不会自动从 epoll 移除，因为 epoll 监听的是 file description 而非 fd 编号。此外，EPOLLHUP 和 EPOLLERR 始终被监听，必须在事件处理中检查。
一切皆 fd 的设计哲学
epoll 通过 timerfd、signalfd 和 eventfd 将定时器、信号和线程间通知统一为文件描述符，使事件循环能集中管理网络 I/O、定时任务和信号处理，避免了多种机制混用。这种设计简化了编程模型，但相比 kqueue 的内置支持，epoll 需要额外创建 fd，略显繁琐。
Q&A
epoll 的内核数据结构有哪些？它们分别有什么作用？
epoll 在内核中维护两个核心数据结构：红黑树（rbr）用于存储所有被监听的 fd，支持 O(log n) 的增删改查；就绪链表（rdllist）用于存储已就绪的 fd，epoll_wait 直接从链表获取事件，复杂度为 O(k)，k 为就绪事件数。此外还有等待队列（wq）用于存放阻塞在 epoll_wait 上的进程。
epoll 的 LT 和 ET 模式有什么区别？
LT（水平触发）是默认模式，只要 fd 满足条件（如可读），每次 epoll_wait 都会通知；ET（边缘触发）只在状态变化时通知一次，之后必须循环读取直到返回 EAGAIN，否则可能丢失数据。ET 性能略优（约 5-15%），但编程复杂度高，容易出错；LT 更安全，适合大多数应用。
ET 模式下如何正确读取数据？
ET 模式下，每次收到可读事件后，必须循环调用 read 直到返回 EAGAIN（或 EWOULDBLOCK），确保缓冲区数据全部读完。示例代码中，使用 while(1) 循环读取，当 read 返回 -1 且 errno 为 EAGAIN 时退出循环。
EPOLLONESHOT 的作用是什么？
EPOLLONESHOT 确保一个 fd 在同一时刻只被一个线程处理。事件触发一次后自动禁用，直到用 epoll_ctl 的 MOD 操作重新激活。这可以避免多线程同时处理同一个 fd 导致的数据竞争。
如何解决 epoll 的惊群问题？
惊群问题指多个进程/线程同时等待同一事件，事件发生时全部被唤醒但只有一个能处理。解决方案有：1) 使用 EPOLLEXCLUSIVE（Linux 4.5+）只唤醒一个等待者；2) 使用 SO_REUSEPORT（Linux 3.9+）让每个 worker 绑定独立 socket，内核负载均衡；3) Nginx 的 accept_mutex（但 1.11.3+ 默认关闭，改用 EPOLLEXCLUSIVE）。
epoll 如何集成定时器和信号处理？
epoll 遵循“一切皆文件描述符”的设计，通过 timerfd 将定时器转化为 fd，通过 signalfd 将信号转化为 fd，然后统一注册到 epoll 中。这样事件循环可以统一管理网络 I/O、定时器、信号等，无需使用 poll 或 signal handler。
epoll 和 kqueue 有哪些主要区别？
epoll 是 Linux 专用，kqueue 用于 BSD/macOS。kqueue 功能更丰富，内置定时器、信号、文件系统监听等，支持批量修改事件；epoll 在 Linux 上性能极致优化，生态更广。epoll 需要三个系统调用（create/ctl/wait），kqueue 只需两个（kqueue/kevent）。
epoll 的 fd 泄漏陷阱是什么？
在 Linux 中，close(fd) 会自动将 fd 从 epoll 中移除，但有一个特例：如果使用 dup/dup2 复制了 fd，底层的 file description 仍被引用，epoll 监听的是 file description 而非 fd 编号，因此关闭原始 fd 后事件仍会触发。正确做法是先调用 epoll_ctl(EPOLL_CTL_DEL) 删除，再 close。
