【存储工程】Direct I/O 与 O_DIRECT：绕过缓存的得与失
内容提要
本文介绍Linux O_DIRECT机制，它绕过Page Cache直接读写磁盘，解决数据库双重缓冲、内存拷贝和缓存污染问题。使用O_DIRECT需满足缓冲区、偏移量和长度对齐要求，且不保证持久性，需配合fsync。它适用于已有应用层缓存的数据库系统（如InnoDB、RocksDB），而小文件频繁读取等场景应保留Page Cache。文中还对比了各数据库策略及io_uring、DAX等替代方案。
延伸解读
O_DIRECT 的适用边界
O_DIRECT 并非万能，其核心价值在于消除双重缓冲和缓存污染，但前提是应用已有完善的缓存层。对于数据库如 InnoDB、RocksDB，绕过 Page Cache 可释放内存并减少拷贝；但对于无应用缓存的小文件频繁读取、多进程共享读等场景，Page Cache 的预读和共享机制更优。决策时应先明确缓存策略，再考虑是否使用 O_DIRECT。
对齐与持久性：两个易踩的坑
使用 O_DIRECT 必须满足缓冲区地址、文件偏移量和传输长度的对齐要求，否则系统调用返回 EINVAL。此外，O_DIRECT 只保证数据到达块设备层，不保证持久化，掉电时数据可能仍停留在磁盘写缓存中。因此，写入后必须调用 fsync 或 fdatasync，或使用 O_DIRECT|O_SYNC，才能确保数据落盘。
数据库策略差异与选型参考
不同数据库对 O_DIRECT 的支持和策略各异：InnoDB 默认使用 O_DIRECT 并配合 fsync；PostgreSQL 默认依赖 Page Cache，O_DIRECT 仍为实验性；RocksDB 提供细粒度控制，可分别启用读和写路径的 direct I/O；SQLite 不支持。选型时需结合应用层缓存设计、工作负载类型（如 OLTP 还是写密集）以及内存限制，权衡利弊。
混合 I/O 与文件系统差异需警惕
同一文件混用 O_DIRECT 和缓冲 I/O 可能导致数据不一致，因为缓冲写入的数据可能停留在 Page Cache 而未被 O_DIRECT 读取看到。此外，O_DIRECT 在不同文件系统上行为不同：tmpfs 会静默忽略该标志，NFS 语义有差异，ext4 和 XFS 在并发写入和块分配上表现不一。生产环境建议统一使用 direct 模式，并在目标文件系统上实测验证。
Q&A
什么是O_DIRECT？它有什么作用？
O_DIRECT是Linux提供的一个文件打开标志，用于在读写文件时绕过Page Cache，让数据直接在用户空间缓冲区和块设备之间传输。它的主要作用是避免双重缓冲、减少内存拷贝和防止缓存污染，适用于已有应用层缓存的数据库系统。
使用O_DIRECT需要满足哪些对齐要求？
使用O_DIRECT时，缓冲区地址、文件偏移量和传输长度都必须对齐到逻辑块大小（通常为512字节或4096字节）。如果不满足对齐条件，read()或write()系统调用会返回EINVAL错误。
O_DIRECT能保证数据持久化吗？为什么还需要fsync？
O_DIRECT只保证数据绕过Page Cache，但数据可能仍停留在磁盘控制器的写缓存中，掉电时可能丢失。因此，要保证持久化，必须在write()后调用fsync()或fdatasync()，或者使用O_DIRECT|O_SYNC打开文件。
在什么场景下应该使用O_DIRECT，什么场景下应该保留Page Cache？
应该使用O_DIRECT的场景包括：应用已有Buffer Pool或自管缓存（如InnoDB、RocksDB）、大扫描会污染页缓存、需要可预测的刷盘语义。应该保留Page Cache的场景包括：无应用层缓存的小文件读、多进程只读共享、依赖内核readahead的通用负载。
MySQL InnoDB中如何配置O_DIRECT？
在MySQL配置文件中设置innodb_flush_method=O_DIRECT，这样数据文件使用O_DIRECT+fsync，日志文件仍使用缓冲I/O。这是生产环境中最常用的配置，因为InnoDB的Buffer Pool已经提供了应用层缓存。
O_DIRECT有哪些常见的陷阱？
常见陷阱包括：对齐违规（缓冲区、偏移、长度未对齐）、混合使用O_DIRECT和缓冲I/O导致数据不一致、在特殊文件系统（如tmpfs、NFS）上行为差异、小随机读取性能回退、文件系统元数据仍经过Page Cache等。
O_DIRECT和io_uring有什么关系？
io_uring解决的是提交效率（批量SQ/CQ、减少syscall），不替代O_DIRECT的缓存语义。O_DIRECT可以与io_uring结合使用，通过固定缓冲区（IORING_REGISTER_BUFFERS）等优化，但需要先确认direct语义。
DAX和O_DIRECT有什么区别？
DAX是为持久内存设计的直接访问模式，完全绕过内核I/O栈和块设备层，通过mmap()直接映射持久内存，使用load/store指令读写。而O_DIRECT仍然经过VFS和文件系统，只是绕过Page Cache。DAX延迟更低，但编程复杂度更高。
