PolarDB/Aurora的共享存储架构中,RO节点的延迟会影响RW节点的刷脏操作。目前的解决方法是让RO节点自动重启,但有用户希望RO节点不重启。解决方案可以从RW节点或RO节点入手,但都存在一些问题。限制RW节点会导致内存不足和性能下降,持久化redo log会增加延迟。RO节点处理不一致问题的方法简单但性能受影响。需要更细致的处理方法来解决逻辑和物理不一致问题。
PolarDB-X是一个云原生的分布式数据库,采用共享无关和存储分离的计算架构。它包括计算节点、数据节点、全局元服务、变更数据捕获和列式节点等五个核心组件。PolarDB-X发布了多个版本,包括2.0.0、2.1.0、2.1.1、2.2.0、2.2.1和2.3.0,每个版本都带来了新功能和改进。它提供高可靠性、强一致性,并与MySQL兼容。PolarDB-X还提供全球数据库网络(GDN)功能,用于灾难恢复和多区域主动-主动场景。最新版本2.4.0引入了列式节点,提供持久的列式索引。PolarDB-X与MySQL 8.0.32兼容,并提供多种部署选项,包括RPM包安装、PXD部署工具和Kubernetes运算符。PolarDB-X的开源生态系统不断改进,提供了Polardbx-operator和ProxySQL等工具,用于高可用性和路由。
PolarDB-X是一个支持存储过程的分布式数据库,可以使用存储过程轻松生成测试数据。文章提供了一个生成特定表的100万行测试数据的示例。生成的存储过程可以直接在PolarDB-X中执行。
本文介绍了PolarDB-X数据库的索引选择算法XPlan,通过将执行计划直接传输给数据节点执行,避免了索引选择的不准确性。文章详细介绍了XPlan的设计原理和流程,并提到了XPlan索引选择的优化和倾斜值问题的处理。通过优化XPlan索引选择,PolarDB-X显著降低了索引错选的概率。
阿里云PolarDB分布式产品部负责人黄贵介绍了PolarDB分布式版的集分一体化技术,该技术通过Paxos多副本、分布式事务引擎等实现。集分一体化技术兼具集中式和分布式数据库的优势,可无缝切换,提升性能和扩展能力。已在识货APP等客户的业务场景中实践。
本文介绍了在PolarDB-X中使用全局索引和CO_HASH分区算法实现高效的多维度查询。通过全局索引和聚簇索引,避免了回表操作的代价。CO_HASH分区算法提高了查询效率。
该文章讨论了在mtr中修改多个页面时可能出现的搜索操作错误的问题。通过引入sync_counter机制,可以避免错误,但会导致物理复制效率下降。作者提出了使用smo page queue或LogIndex SMO page queue的方法来解决这个问题,并减少store和restore操作。此外,还讨论了使用LogIndex和bw-tree的方法来解决非smo场景下的冲突问题。最后,作者提出了一些问题和可能的解决方案。
介绍了使用全局索引与CO_HASH分区算法实现高效多维度查询的方法,提高了PolarDB-X等分布式数据库的查询效率。
该文章介绍了数据库恢复方式,包括备份集恢复和任意时间点恢复。对于单机MySQL,可以使用XtraBackup工具对备份集进行恢复。对于分布式数据库PolarDB-X,提出了基于两次心跳事务的恢复方案。该方案通过裁剪binlog来实现全局一致的任意时间点恢复。文章还对不同恢复方案进行了比较,并提出了解决元数据和数据文件一致性恢复的优化方案。
PolarDB分布式版本基于对象存储设计了一套列存索引功能,支持在线事务处理和实时数据分析的一体化能力。技术架构包括计算节点、存储节点、元数据服务和日志节点。PolarDB-X提供了云原生架构、分布式、读写分离和行列混合等特点,适用于实时报表业务、专用数据仓库和ETL计算场景。
PolarDB-X是阿里巴巴自主设计研发的高性能云原生分布式数据库产品,具备金融级数据高可用、分布式水平扩展、混合负载、低成本存储和极致弹性等能力。它采用Shared-nothing与存储分离计算架构,CN节点负责SQL解析和执行,DN节点负责数据的分布式事务和高可用存储。PolarDB-X标准版采用Paxos协议的多副本模式,具有高性能、RPO=0、自动HA等特点,可作为开源MySQL的替代选择。
本文介绍了在数据库中进行高效的分页查询操作的方法。对于单机数据库,可以使用LIMIT M, N来实现分页查询,但随着翻页的增加,查询代价会成倍增长。对于分布式数据库,使用LIMIT M, N的代价更大,需要考虑网络传输的代价。在PolarDB-X中,可以根据自增主键的生成策略选择合适的分页查询方法。对于使用New Sequence的表,可以使用类似单机MySQL的查询方法。对于使用Group Sequence的表,需要注意使用正确的查询方法。在分片查询时,可以按照分片进行遍历。对于数据导出场景,推荐使用PolarDB-X的Batch Tool。还提到了其他注意点,如合适的索引、设置合适的JDBC参数等。
阿里巴巴的论文介绍了PolarDB数据库中实现低延迟强一致性读取的方法,通过将重做日志传送到只读节点提高性能。论文还介绍了线性化读取的方法,包括屏障和冲洗。评估结果显示PolarDB-SCC方案非常成功。
一家综合型集团公司通过三次迭代解决了数据库压力过大的问题,选择了PolarDB分布式数据库,降低了存储成本并提升了业务性能。在冷数据归档过程中遇到问题,但PolarDB-X提供了解决方案。数据库迁移非常成功,带来多种收益。
介绍了PolarDB-X V2.3版本的新特性,包括分区表和生成列的完善,对MySQL 8.0函数索引和表达式索引的兼容性,外键约束方面的实验性功能和开源生态的完善。Canal、KubeBlocks和CloudCanal等工具的适配。
本文介绍了PolarDB-X中外键的实现,包括DDL和DML两部分。DML中讲解了事务、约束、Insert、Delete和Update的算法和级联,以及特殊情况的解决方案。算法可递归或队列迭代实现。
介绍PolarDB-X数据库的基于标签的访问控制(LBAC)功能,可在行、列级别对数据访问进行控制,保证数据安全。通过测试SQL语句的执行情况,验证了LBAC访问控制能力。
CEST实验室是一个基于业务场景面向优化器索引选择的混沌查询实验室,能够复现线上问题并发现优化器误估错误。未来发展方向包括数据生成模拟、混沌模拟行为、问题算子定位和强化索引选择评估器等。
本文讨论了物理复制中的刷脏约束问题及其解决方案,包括LogIndex和copy page机制、多版本和Aurora引擎。热点页是该问题的主要原因。
阿里巴巴的PolarDB-X通过引入Learner/Logger角色副本,实现了对节点角色的定制化组合,节约成本,丰富功能。同时,PolarDB-X还完整兼容MySQL Binlog,实现了数据的异地低成本备份。
完成下面两步后,将自动完成登录并继续当前操作。