本文探讨了Trino的Exchange机制及其在分布式OLAP中的重要性，涵盖了不同的分区方案（如HASH、BROADCAST）、LocalExchange与RemoteExchange的区别、Broadcast join与Shuffle join的比较，以及如何通过EXPLAIN ANALYZE识别数据倾斜。此外，文章还比较了Trino与Spark在处理数据倾斜时的策略，强调了运行时优化与SQL改写的重要性。

本研究开发了一种基于深度学习的实时交通监控平台，能够检测车辆和行人，分析交通流量并预测交通情况。通过多摄像头系统和创新模型，显著提高了交通数据分析的效率和准确性，增强了交通管理能力。

本文提出了一种可扩展的算法，解决个体公平聚类问题，设计了快速局部搜索算法，运行时间约为 $O(nk^2)$，并获得有效的近似解。研究了公平性与聚类目标之间的权衡，优化了公平聚类的解决方案，并通过实验证明了其优越性。

神经网络的校准问题及权重调整算法 Tilt and Average (TNA) 的实证和理论验证

本文分享了一位数仓工程师处理数据歪斜问题的经验，通过调整内存参数和查看Spark UI成功定位问题。作者提出了避免数据歪斜的方法，并总结了数仓工程师的能力和责任心。

FedIIC是一种隐私保护框架，通过特征提取器的校准来缓解训练造成的偏差，并使用逻辑调整构造softmax交叉熵损失以确保平衡决策边界。实验结果显示，FedIIC在处理耦合问题时具有更优越的性能。

本文介绍了华为云社区中的一篇文章，标题为《GaussDB(DWS)性能调优：倾斜优化-表达式计算倾斜的hint优化》。文章主要讲述了如何通过使用hint优化来解决倾斜问题，包括禁止大表广播和针对表达式倾斜进行优化。通过增加hint方式禁止表走广播，并构建子查询来处理表达式倾斜。最后，文章提供了相应的SQL执行性能信息。

本文介绍了大数据查询分析引擎中的数据倾斜和数据膨胀问题，并提供了相应的解决方案。对于数据倾斜，可以从Map端优化、Reduce端优化和Join端优化三个方面进行优化。对于数据膨胀，可以避免笛卡尔积、关注关联key的区分度和避免误用聚合操作。此外，还介绍了如何排查和定位长时间运行或失败的业务SQL，并给出了优化思路。总结指出大数据SQL优化是一项知识面较广的工作，需要学习查询分析引擎设计原理。

本文介绍了优化大数据平台中的数据倾斜问题，包括增加内存、增加reduce个数、自定义分区、重新设计key和使用combinner合并等方法。同时，通过观察Spark UI定位问题，并通过参数调节和SQL语句调节来解决Hive数据倾斜问题。对于Shuffle时数据不均匀导致的数据倾斜，可以采用打散key进行二次聚合、改变join方式、开启spark自适应框架、优化SQL等方法来解决。Spark 3.0中提供了通用倾斜算法来处理更多场景的数据倾斜问题。

本文介绍了B端令牌系统应用数据分表解决业务数据量增大和数据倾斜问题。作者调研了垂直分表和水平分表两种方式，并选择了水平分表作为解决方案。作者详细介绍了水平分表的路由算法和一致性hash环的优点。在此基础上，作者提出了自己的方案，包括使用令牌ID作为分表字段、引入分表水位概念、定期数据归档等。作者还提到了方案的不足之处，包括水位阈值和扩容监控的问题。最后，作者强调解决问题需要根据具体业务和场景选择适合的技术手段和工具。

数据倾斜是指数据集的不平衡分布。这种不平衡通常是通过特定指标或领域的镜头观察到的。我们可以说一个国家的人口数据集在按人口中心分组时是有偏差的（假设更多的人住在几个大城市，而其他地方的人口较少）。 这本身并不是一件坏事。大多数数据集都有不可避免的固有偏差（毕竟大多数人确实生活在大城市）。当以并行方式处理这些数据时，问题就来了，无论是在 ETL...

1 前言之前旁边的小伙伴问我热点数据相关问题，在给他粗略的讲解一波redis数据倾斜的案例之后，自己也顺道回顾了一些关于热点数据处理的方法论，同时也想起去年所学习JD开源项目hotkey——专门用来解决热点数据问题的框架。在这里结合两者所关联到的知识点，通过几个小图和部分粗略的讲解，来让大家了解相关方法论以及hotkey的源码解析。2 Redis数据倾斜2.1 定义与危害先说说数据倾斜的定义，借用...

4万字长文解读Redis数据倾斜与JD开源hotkey源码分析揭秘