小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
Umair Shahid:PostgreSQL 列限制

PostgreSQL的列限制为1600列,但宽表会导致查询延迟、备份增大和模式变更困难,增加I/O和维护成本,影响系统性能。建议通过垂直分区、使用JSONB和优化模式来降低风险和成本。

Umair Shahid:PostgreSQL 列限制

Planet PostgreSQL
Planet PostgreSQL · 2025-12-23T08:03:36Z

随着用户和订单量的增加,数据库架构出现瓶颈。为了解决这一问题,采用了分库分表和构建ES宽表的方法。文章介绍了基于DTS的实时ES宽表构建方案,包括同步双写、异步双写和基于Binlog的实时同步,分析了各方案的优缺点,并分享了实践经验。

分库分表后复杂查询的应对之道:基于DTS实时性ES宽表构建技术实践

京东科技开发者
京东科技开发者 · 2025-05-06T09:13:15Z
测试驱动宽表

测试驱动宽表(TDWT)是一种简单的生产级分析工程方法,流程包括需求获取、测试编写、变更实现和验证。TDWT结合了测试驱动开发与宽表,强调过程而非数据结构,以提高数据仓库的可信度和可维护性。通过测试,工程师能够及时发现问题,简化代码,提升开发效率。

测试驱动宽表

DEV Community
DEV Community · 2024-11-06T23:43:46Z

文章介绍了数据库架构在业务发展初期往往是单库单表,随着用户量和订单量的增加,数据库成为系统瓶颈。解决方案有分库分表、构建ES宽表和构建查询条件到表主键Mapping映射表。ES宽表的构建解决方案有同步双写、异步双写和基于Binlog的实时同步。文章对解决方案的优缺点进行了对比,并介绍了实践中的顺序性保证、幂等性保证、数据一致性保证和存量数据迁移。最后,介绍了ES复杂检索的分类和查询条件构建。

分库分表后复杂查询的应对之道:基于DTS实时性ES宽表构建技术实践

京东科技开发者
京东科技开发者 · 2024-06-24T03:11:33Z
使用 Alluxio 加速数据湖 ODS 写后读及 DWD 宽表性能

本文介绍了使用数据湖架构在大数据分析中的重要性,以及如何使用Alluxio集群缓存来提高查询性能。通过将数据写入Alluxio缓存层,可以快速反映在查询中,提高查询效率。测试结果显示,使用Alluxio路径的查询性能明显优于S3和HDFS路径,提升了约3.5倍的效率。在实时数据湖场景中,引入Alluxio集群缓存可以缩短数据入湖时间,并大幅提升数仓查询效率。

使用 Alluxio 加速数据湖 ODS 写后读及 DWD 宽表性能

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2023-12-11T02:42:31Z

本文介绍了在Gauss(DWS)中使用DWS的轻量化更新的黑科技来提升宽表加工性能。通过将字段插入目标表并使用轻量化更新的方式将字段更新到目标表,可以加速更新操作。如果更新操作耗时较长,可以并发执行两个语句来提升性能。

DWS轻量化更新黑科技:宽表加工优化

华为云官方博客
华为云官方博客 · 2023-07-28T08:45:31Z

本文介绍了Elasticsearch的路由功能和其在文本、日志类数据方面的优势,但也存在架构不足和安全性问题。国内企业星环科技开发了基于Lucene的分布式搜索引擎Scope,采用了全新的高可用架构和原生安全功能。下一步将介绍分布式计算技术。

分布式存储技术(下):宽表存储与全文搜索引擎的架构原理、特性、优缺点解析

FreeBuf网络安全行业门户
FreeBuf网络安全行业门户 · 2023-04-10T01:21:45Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码