浅谈离线数据倾斜

本文介绍了优化大数据平台中的数据倾斜问题，包括增加内存、增加reduce个数、自定义分区、重新设计key和使用combinner合并等方法。同时，通过观察Spark UI定位问题，并通过参数调节和SQL语句调节来解决Hive数据倾斜问题。对于Shuffle时数据不均匀导致的数据倾斜，可以采用打散key进行二次聚合、改变join方式、开启spark自适应框架、优化SQL等方法来解决。Spark 3.0中提供了通用倾斜算法来处理更多场景的数据倾斜问题。