安德鲁·阿特金森：Ruby on Rails 和 PostgreSQL 中大 IN 列表带来的大问题
💡
原文英文，约2200词，阅读约需8分钟。
📝
内容提要
在数据库中，使用大IN列表查询会影响性能，尤其在数据量大时。可以通过JOIN操作、ANY运算符、VALUES子句或准备语句替代IN查询来优化性能。使用pg_stat_statements可以识别并优化这些查询。
🎯
关键要点
- 在数据库中，使用大IN列表查询会影响性能，尤其在数据量大时。
- 大IN列表查询的性能差主要由于解析、规划和执行过程中的资源消耗。
- Active Record中的pluck()方法可能导致生成大IN列表的查询模式。
- 使用eager loading方法（如includes或preload）可能会隐式创建大IN列表查询。
- 使用eager_load方法可以避免生成IN子句，改为使用LEFT OUTER JOIN。
- 使用ANY或SOME运算符可以替代IN，提供更灵活的处理方式。
- VALUES子句可以作为IN的替代方案，帮助优化查询性能。
- 将大列表的值存入临时表并建立索引可以提高查询效率。
- 使用ANY与数组的组合可以提高查询性能，支持准备语句。
- 使用pg_stat_statements可以识别并优化大IN列表查询。
- PostgreSQL 17和18版本将对处理标量表达式和索引进行改进，提升性能。
❓
延伸问答
为什么大IN列表查询会影响数据库性能？
大IN列表查询会增加解析、规划和执行过程中的资源消耗，导致性能下降，尤其是在数据量大的情况下。
如何优化大IN列表查询的性能？
可以通过使用JOIN操作、ANY运算符、VALUES子句或准备语句来优化大IN列表查询的性能。
Active Record中的pluck()方法如何导致大IN列表？
使用pluck()方法收集ID并将其作为参数传递给另一个查询时，可能会生成大IN列表的查询模式。
使用eager loading时如何避免生成大IN列表？
可以使用eager_load方法替代includes或preload，这样可以生成使用LEFT OUTER JOIN的单个SQL查询，避免大IN列表。
PostgreSQL 17和18版本对大IN列表查询有什么改进？
PostgreSQL 17和18版本将改进处理标量表达式和索引，提升查询性能，减少重复扫描。
如何使用pg_stat_statements识别大IN列表查询？
可以通过查询pg_stat_statements中的query字段，使用LIKE语句过滤出包含'IN'的查询，以识别大IN列表查询。
🏷️
标签
➡️
