DEV Community
·
修复 Redshift 清理操作以优化查询性能
💡
原文英文，约1700词，阅读约需7分钟。
📝
内容提要
即使架构设计得当，Redshift 查询仍可能因后台长时间运行的清理操作而变慢，导致 ETL 作业和分析查询速度下降高达 80%。本文提供了加速清理的技巧，如按排序键顺序插入数据、使用压缩编码和深拷贝替代清理，以提升查询性能。
🎯
关键要点
- 即使架构设计得当，Redshift 查询仍可能因后台长时间运行的清理操作而变慢。
- 清理操作可能导致 ETL 作业和分析查询速度下降高达 80%。
- 清理过程包括排序表和回收未使用的磁盘空间。
- 建议定期进行清理，并选择合适的排序键和分布键。
- 按排序键顺序插入数据可以减少清理时的合并成本。
- 使用压缩编码可以在磁盘上实现 2-4 倍的压缩。
- 对于大表，深拷贝可能比清理更有效，尤其是当未排序部分超过 20% 时。
- 清理后应调用 ANALYZE 更新查询规划器，以提高读取性能。
- 在每日插入量少于现有表的 5% 时，建议将清理推至 99%。
- 保持表的精简，移除未使用的列，避免过宽的表结构。
❓
延伸问答
Redshift 查询性能下降的主要原因是什么？
Redshift 查询性能下降的主要原因是后台长时间运行的清理操作，尤其是 vacuum 过程。
如何优化 Redshift 的清理操作以提高查询性能？
可以通过按排序键顺序插入数据、使用压缩编码和深拷贝替代清理来优化清理操作。
在什么情况下应该使用深拷贝而不是清理？
当表的未排序部分超过 20% 时，使用深拷贝可能比清理更有效。
使用压缩编码对 Redshift 查询有什么好处？
使用压缩编码可以在磁盘上实现 2-4 倍的压缩，减少 I/O 成本，提高查询性能。
如何保持 Redshift 表的精简？
可以通过移除未使用的列和避免过宽的表结构来保持表的精简。
在进行清理后为什么需要调用 ANALYZE？
调用 ANALYZE 可以更新查询规划器，以提高读取性能，因为清理可能会显著重组表。
➡️
