小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

电商订单系统在两年内数据量激增,导致查询性能下降。分库分表成为解决方案,需考虑分片策略、分片键选择及跨分片查询的复杂性。文章探讨了分库分表的时机、分片策略(如范围分片、哈希分片、目录分片)及其优缺点,并分析了NewSQL数据库(如TiDB、CockroachDB)是否能替代传统分库分表。强调选择方案时需考虑团队运维能力与数据规模。

【系统架构设计】数据库扩展:分库分表的工程实践与替代方案

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-13T00:00:00Z

在数据量激增的背景下,单库单表已无法满足需求,分表分库成为解决方案。通过合理的拆分规则,将数据水平或垂直分散存储,避免过度拆分和聚合查询瓶颈,以支持业务增长。对于.NET开发者,可以通过手写逻辑、ORM扩展或专业中间件实现分表分库。

.NET实现分表分库方案:从理论到落地的实践指南

dotNET跨平台
dotNET跨平台 · 2025-12-10T06:52:04Z

运维派是国内早期的IT运维社区,文章探讨了MySQL慢查询优化的策略,包括慢查询日志配置、性能监控、索引优化和查询重写,旨在帮助运维工程师提升数据库性能,避免常见误区。

MySQL慢查询治理:从索引优化到分布式数据库分库策略

运维派
运维派 · 2025-08-02T07:12:46Z

我们完成了shardingcore的集成,发布了v2.7版本。该版本支持数据分库分表、读写分离和多租户功能,实现了系统的横向扩展,并提供中英双语文档和示例代码。

重磅发布:CleanDDD框架netcorepal-cloud-framework v2.7.0 全面支持分库分表读写分离方案

dotNET跨平台
dotNET跨平台 · 2025-05-18T00:01:37Z

随着用户和订单量的增加,数据库架构出现瓶颈。为了解决这一问题,采用了分库分表和构建ES宽表的方法。文章介绍了基于DTS的实时ES宽表构建方案,包括同步双写、异步双写和基于Binlog的实时同步,分析了各方案的优缺点,并分享了实践经验。

分库分表后复杂查询的应对之道:基于DTS实时性ES宽表构建技术实践

京东科技开发者
京东科技开发者 · 2025-05-06T09:13:15Z

文章介绍了StarBlog的新访问统计功能,重新设计了日志记录方式,采用队列和后台任务提高性能,避免数据库过大。使用EFCore进行数据库操作,并实现分库优化数据管理。

基于.NetCore开发 StarBlog 番外篇 (1) 全新的访问统计功能,异步队列,分库存储...

dotNET跨平台
dotNET跨平台 · 2025-02-23T23:56:53Z

本文介绍了StarBlog的新访问统计功能,采用队列和后台任务设计,解决了旧实现的性能和数据库大小问题。使用EFCore进行数据库操作,支持分库,并优化了日志记录和查询功能。

基于.NetCore开发 StarBlog 番外篇 (1) 全新的访问统计功能,异步队列,分库存储 - 程序设计实验室

程序设计实验室
程序设计实验室 · 2025-02-22T15:48:00Z

文章探讨了数据库的分库分表与分区概念,作者认为在资源充足时,单表更高效。MySQL的分区功能不断改进,可能替代分表。建议在性能瓶颈时考虑分区,并强调数据库应简化用户操作,提升可用性。

或许我们都被分库分表约束了思维

京东科技开发者
京东科技开发者 · 2025-02-21T01:18:22Z

随着应用程序对数据处理能力的需求增加,分表分库和读写分离成为提升数据库性能的重要手段。ShardingCore是为EF Core设计的高性能、轻量级分表分库框架,支持自定义路由、动态路由、高性能分页、读写分离等功能。

ShardingCore:EF Core下高性能、轻量级分表分库读写分离解决方案

dotNET跨平台
dotNET跨平台 · 2024-07-21T00:03:29Z

文章介绍了数据库架构在业务发展初期往往是单库单表,随着用户量和订单量的增加,数据库成为系统瓶颈。解决方案有分库分表、构建ES宽表和构建查询条件到表主键Mapping映射表。ES宽表的构建解决方案有同步双写、异步双写和基于Binlog的实时同步。文章对解决方案的优缺点进行了对比,并介绍了实践中的顺序性保证、幂等性保证、数据一致性保证和存量数据迁移。最后,介绍了ES复杂检索的分类和查询条件构建。

分库分表后复杂查询的应对之道:基于DTS实时性ES宽表构建技术实践

京东科技开发者
京东科技开发者 · 2024-06-24T03:11:33Z
分库分表数据同步方案与实践

本文介绍了将Amazon Aurora MySQL的分库/分表数据同步到Amazon Redshift的方案和操作,包括使用AWS DMS直接同步和利用zero-ETL特性。还介绍了使用AWS DMS、Amazon MSK和AWS Glue进行数据同步的方案,并展示了数据同步的效果和性能。

分库分表数据同步方案与实践

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2024-05-16T07:19:57Z

在计算机世界中,当单一数据库资源无法满足需求时,可以考虑使用多个数据库同时提供服务。拆分键的设计是关键,可以进行水平拆分和垂直拆分。拆分键的选取遵循以查询维度为准则。拆分键的生成可以使用数据库自增主键、UUID或雪花算法。拆分后的数据库可以同步到NoSQL数据库以支持复杂查询需求。数据库的主要能力是存储,复杂计算需求一般在业务逻辑中实现。

分库分表之拆分键设计

京东科技开发者
京东科技开发者 · 2023-09-07T10:01:11Z

本文介绍了京东物流系统中使用的分库分表中间件ShardingSphere的问题分析和解决方案。通过改造sharding-jdbc,解决了MYSQL集群架构连接数上限的问题,实现了横向扩展。文章详细介绍了sharding-jdbc的工作流程和源码分析,并给出了改造步骤。改造后的系统通过自定义分片算法实现了分库分表。文章总结了分库分表的概念和优势,并强调了在系统设计中需要权衡利弊来决策是否需要进行分库分表。

Sharding-JDBC分库连接数优化

京东科技开发者
京东科技开发者 · 2023-07-27T10:00:56Z

介绍ShardingSphere的配置方法,包括数据源配置、分片键配置、广播表配置等。应该先基于DDD思想划分业务单元,进行垂直分库,再针对增长量大的表进行水平分库。在分表维度上,应该优先考虑垂直分表的设计。

分而治之--浅谈分库分表及实践之路 | 京东云技术团队

京东科技开发者
京东科技开发者 · 2023-06-01T02:53:17Z

在应用系统开发中,很少需要进行数据分库或分表操作。通常使用ORM和连接查询来提高开发效率。但在分表场景下,可采用全局表查询、禁止跳页查询、按日期二次查询、大数据集成和NewSql法等方法解决分页查询问题。每种方法都有优缺点,需根据具体情况选择合适方法。

亿万级分库分表后如何进行跨表分页查询

dotNET跨平台
dotNET跨平台 · 2023-03-30T00:03:41Z

面对数据激增,分库分表方案有两种常用的路由算法:Hash取模和Range范围。为兼顾两者优势,可以设计一个分组概念,每个分组存储几年的数据,扩容时只需增加一个分组。可以根据业务情况对旧数据进行归档处理,减轻生产库压力。分库分表方案需要根据实际情况选择适合的工具,并结合项目场景进行设计。

关于数据库分库分表的一点想法

京东科技开发者
京东科技开发者 · 2023-03-27T00:58:27Z

欢迎加入学习小圈子,一起打卡交流学习。这是一个基于EF Code的高性能、轻量级分表分库、读写分离开源项目,支持跨平台、支持MySql、Oracle、SqlServer等数据库,支持时间分表、自定义分表、多表查询更新删除等,可以让我们方便快速接入、或者改造原有项目,几乎零成本接入。Github和Gitee上都有该项目的地址,觉得好看点个在看。

一款针对EF Core轻量级分表分库、读写分离的开源项目

dotNET跨平台
dotNET跨平台 · 2023-02-11T00:00:03Z

总结分库分表的原因、方法,如水平、垂直分库分表,有哪些优缺点,具体操作等

MySQL分库分表

Sulv's Blog
Sulv's Blog · 2022-07-07T10:07:42Z

场景公司线上环境券系统的用户券码表目前是单表,虽然知道业务增长很快,数据量应该已经很大了。但是由于需求排期很紧,sql查询也没有出现性能瓶颈,也就一直没有给该表安排上分库分表的架构优化。 直到上周某业务需求上线,需要给该表加索引,才发现该表已经增长到

基于券系统分库分表的思考

祈雨的博客
祈雨的博客 · 2020-09-26T16:00:00Z

最近Shardingsphere在Apache Software Foundation 简称ASF 毕业成为Apache顶级项目,也是目前ASF收个分布式数据库中间件项目,未来可期啊,今天我们就搭建一下springboot整合Shardingsph

springboot 整合 Shardingsphere 4.0 分库分表

winter's Blog
winter's Blog · 2020-04-21T05:50:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码