本研究提出了一种量化约束的强化学习方法，有效解决了安全约束表达不足的问题。该方法通过估计量化梯度和倾斜更新策略，提升了安全性和回报性能，超越了现有基准。

本文介绍了一种名为LVSTformer的多层多视图增强时空Transformer模型，用于交通预测。该模型通过捕获空间和时间依赖性，并引入时空上下文广播模块，提高了模型的泛化能力和鲁棒性。实验结果表明，LVSTformer在交通预测方面优于竞争基线模型。

本论文介绍了一种名为倾斜 k-means（TKM）的新算法，以实现聚类的个体公平性。TKM 通过协作下降和一阶梯度法进行优化，并证明了其收敛性。实验证明 TKM 在效果、公平性和效率方面优于现有的方法。

神经网络的校准问题及权重调整算法 Tilt and Average (TNA) 的实证和理论验证

本文分享了一位数仓工程师处理数据歪斜问题的经验，通过调整内存参数和查看Spark UI成功定位问题。作者提出了避免数据歪斜的方法，并总结了数仓工程师的能力和责任心。

FedIIC是一种隐私保护框架，通过特征提取器的校准来缓解训练造成的偏差，并使用逻辑调整构造softmax交叉熵损失以确保平衡决策边界。实验结果显示，FedIIC在处理耦合问题时具有更优越的性能。

本文介绍了华为云社区中的一篇文章，标题为《GaussDB(DWS)性能调优：倾斜优化-表达式计算倾斜的hint优化》。文章主要讲述了如何通过使用hint优化来解决倾斜问题，包括禁止大表广播和针对表达式倾斜进行优化。通过增加hint方式禁止表走广播，并构建子查询来处理表达式倾斜。最后，文章提供了相应的SQL执行性能信息。

本文介绍了大数据查询分析引擎中的数据倾斜和数据膨胀问题，并提供了相应的解决方案。对于数据倾斜，可以从Map端优化、Reduce端优化和Join端优化三个方面进行优化。对于数据膨胀，可以避免笛卡尔积、关注关联key的区分度和避免误用聚合操作。此外，还介绍了如何排查和定位长时间运行或失败的业务SQL，并给出了优化思路。总结指出大数据SQL优化是一项知识面较广的工作，需要学习查询分析引擎设计原理。

本文介绍了优化大数据平台中的数据倾斜问题，包括增加内存、增加reduce个数、自定义分区、重新设计key和使用combinner合并等方法。同时，通过观察Spark UI定位问题，并通过参数调节和SQL语句调节来解决Hive数据倾斜问题。对于Shuffle时数据不均匀导致的数据倾斜，可以采用打散key进行二次聚合、改变join方式、开启spark自适应框架、优化SQL等方法来解决。Spark 3.0中提供了通用倾斜算法来处理更多场景的数据倾斜问题。

本文介绍了B端令牌系统应用数据分表解决业务数据量增大和数据倾斜问题。作者调研了垂直分表和水平分表两种方式，并选择了水平分表作为解决方案。作者详细介绍了水平分表的路由算法和一致性hash环的优点。在此基础上，作者提出了自己的方案，包括使用令牌ID作为分表字段、引入分表水位概念、定期数据归档等。作者还提到了方案的不足之处，包括水位阈值和扩容监控的问题。最后，作者强调解决问题需要根据具体业务和场景选择适合的技术手段和工具。

数据倾斜是指数据集的不平衡分布。这种不平衡通常是通过特定指标或领域的镜头观察到的。我们可以说一个国家的人口数据集在按人口中心分组时是有偏差的（假设更多的人住在几个大城市，而其他地方的人口较少）。 这本身并不是一件坏事。大多数数据集都有不可避免的固有偏差（毕竟大多数人确实生活在大城市）。当以并行方式处理这些数据时，问题就来了，无论是在 ETL...

1 前言之前旁边的小伙伴问我热点数据相关问题，在给他粗略的讲解一波redis数据倾斜的案例之后，自己也顺道回顾了一些关于热点数据处理的方法论，同时也想起去年所学习JD开源项目hotkey——专门用来解决热点数据问题的框架。在这里结合两者所关联到的知识点，通过几个小图和部分粗略的讲解，来让大家了解相关方法论以及hotkey的源码解析。2 Redis数据倾斜2.1 定义与危害先说说数据倾斜的定义，借用...

4万字长文解读Redis数据倾斜与JD开源hotkey源码分析揭秘