华安基金在金融科技发展中面临数据管理挑战，选择TiDB作为HTAP数据库以满足实时性和灵活性需求。经过POC测试验证TiDB性能后，成功将报表系统从MySQL迁移至TiDB，显著提升了性能。未来，TiDB将支持更多复杂事务处理，助力华安基金的数字化转型。

过去建议MySQL表不超过500万行，担心B树高度增加影响性能。实际上，B树是一个非常扁平的结构，大多数不超过4层。对于一个有1400亿行和27.9TB大小的表，B树高度不超过4层，不用担心性能问题。使用BIGINT作为主键，四级B树可以存储600亿行和12TB数据。即使使用UUID作为主键，MySQL的B树深度也不会超过5级，可以存储到3.8万亿行和386TB数据。总之，不用担心B树高度随数据增长而影响性能，合理设计表结构，大表完全可管理。

该文章讨论了MySQL数据库的治理问题，包括降低磁盘使用率、降低主库QPS和消除慢SQL。介绍了大表数据结转、拦截无参数查询、查询切从库和慢SQL治理等治理方案。讨论了分库分表和迁云作为可能的治理方案。

TabSQLify是一种新颖的方法，通过将表格分解为较小且相关的子表，仅包含回答问题或验证陈述所需的基本信息，然后执行推理任务。在全面评估中，TabSQLify展现出与依赖完整表格的方法相当或更好的性能，并且可以显著减少输入上下文的长度，使其在大规模表格推理应用中更具可扩展性和高效性。

本文介绍了在查询大型数据库表时的三种方法：使用Spring Data JPA的PageRequest和JPARepository、使用TypedQuery的StartPosition和MaxResults、使用PreparedStatement和SQL OFFSET和LIMIT子句。这些方法都可以实现分页查询，避免返回大量结果耗尽内存。

当大表数据量过大时，可从垂直拆分、水平拆分、创建索引、分区和优化查询语句等方面进行优化，提高查询性能。需根据实际情况选择合适的方式进行优化，并进行合理的测试和评估，避免优化后性能下降。

本文强调后端程序员需要具备的业务、技术和管理能力，对人的综合素质有帮助。文章链接提供。

# 前言 笔者是在两年前接手公司的财务系统的开发和维护工作。在系统移交的初期，笔者和团队就发现，系统内有一张5 […]

PolarDB-X引入了semi bka join，支持多列索引、动态筛选、单分片键等，支持outer join、semi join与anti join，并且支持null safe equal，异步框架下算子状态的切换，支持多列in查询，限制使用Semi BKA join的场景，优化Semi BKA join，增强执行器，支持动态裁剪。

记录一次MySQL大表拆分和迁移