小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文介绍了GaussDB(DWS)性能调优中的两个优化案例,通过改写SQL解决了维度表未进行分区剪枝和数据倾斜的问题,以及删除关联条件并改写SQL解决了数据倾斜和性能差的问题,提高了SQL的执行性能。

GaussDB(DWS)性能调优,解决DM区大内存占用问题

华为云官方博客
华为云官方博客 · 2024-07-04T00:59:20Z
Flink数据倾斜理解

数据倾斜是指数据分布不均,导致算子压力过大,影响包括单点问题、频繁GC、吞吐下降、延迟增大和系统崩溃。解决方法包括调整并发度、添加随机前缀打散key分布、预聚合和两阶段聚合。SQL样例中通过给分组的key添加随机数打散数据,然后求各个分组的pv值并求和。注意随机数的范围不能太大或太小。

Flink数据倾斜理解

小令童鞋
小令童鞋 · 2023-07-17T15:11:35Z

本文介绍了大数据查询分析引擎中的数据倾斜和数据膨胀问题,并提供了相应的解决方案。对于数据倾斜,可以从Map端优化、Reduce端优化和Join端优化三个方面进行优化。对于数据膨胀,可以避免笛卡尔积、关注关联key的区分度和避免误用聚合操作。此外,还介绍了如何排查和定位长时间运行或失败的业务SQL,并给出了优化思路。总结指出大数据SQL优化是一项知识面较广的工作,需要学习查询分析引擎设计原理。

大数据 SQL 数据倾斜与数据膨胀的优化与经验总结

阿里云云栖号
阿里云云栖号 · 2023-06-26T06:31:31Z
Elizabeth Garrett Christensen:Postgres中的数据倾斜

本文介绍了Postgres数据库中数据倾斜和部分索引的问题及解决方案。数据倾斜可能导致查询效率降低,通过查询pg_statistics表,可以找到数据倾斜的情况,并使用部分索引来解决。建议定期检查数据分布情况,使用部分索引来优化查询性能。

Elizabeth Garrett Christensen:Postgres中的数据倾斜

Planet PostgreSQL
Planet PostgreSQL · 2023-06-14T13:00:00Z

本文介绍了优化大数据平台中的数据倾斜问题,包括增加内存、增加reduce个数、自定义分区、重新设计key和使用combinner合并等方法。同时,通过观察Spark UI定位问题,并通过参数调节和SQL语句调节来解决Hive数据倾斜问题。对于Shuffle时数据不均匀导致的数据倾斜,可以采用打散key进行二次聚合、改变join方式、开启spark自适应框架、优化SQL等方法来解决。Spark 3.0中提供了通用倾斜算法来处理更多场景的数据倾斜问题。

浅谈离线数据倾斜

京东科技开发者
京东科技开发者 · 2023-04-18T03:06:31Z

张宾提出了一种将抖快电商业务与京东电商供应链连接的方案,采用TiDB作为数据存储,使用Spring提供的AbstractRoutingDataSource实现多数据源支持,利用DRC平台完成MySQL数据库数据迁移,解决数据倾斜和提升系统处理性能,查询性能提升了5倍,并将帐数据和历史订单详情数据直接写入TiDB。

TiDB在OMS供应链系统订单业务域的应用

京东科技开发者
京东科技开发者 · 2023-03-08T01:22:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码