该文介绍MongoDB副本集内存不足时的一种替代分片方案,通过概念验证展示如何在不分片的情况下应对内存瓶颈,为扩容提供新思路。
文章介绍MongoDB存储分层方案Thermocline:保留现有副本集作为归档层,前置小型快速副本集存放近期数据,应用通过代理连接,按数据年龄决定存储层。测试中吞吐量提升1.6至5.2倍,读延迟p95从86毫秒降至6毫秒,且无需分片或修改应用。该方案为概念验证,尚未用于生产。
MongoDB Atlas推出分片顾问(Sharding Advisor),适用于运行MongoDB 8.0及以上的专用Atlas部署。该工具整合三项功能:分片洞察,将分片、集合和mongos指标汇于统一视图,便于排查集群健康问题;分片建议,标记集合超出单分片容量、负载不均、分片接近容量等情况,并解释原因、给出后续建议,但不自动修复;分片键分析器,基于基数、频率、单调性及可选读写分布数据评估候选分片键,辅助决策而非自动选择。
文章指出,分片设计应以查询为出发点而非表。Neki通过“分片组”将共享同一分片键的表置于同一分片,使连接和事务本地化,避免跨分片提交失去原子性。查找表可设为引用表,每个分片保存完整副本。不同业务可使用不同分片组,并支持SQL表达式、范围与取模索引。无分片键的查询可使用全局二级索引。MoveTables和Reshard工作流可迁移数据、更改分片键或分片数。
PlanetScale的分片Postgres服务Neki预览版发布一个月,新增只读副本和低至每月50美元的小型Metal实例。工程团队合并超650项改动,重点提升查询层:支持更多SQL语法、标准工具导出、批量写入提速(分布式INSERT SELECT约76倍、COPY约5倍),并新增分布式执行计划查看。此外还支持Terraform管理扩展、Azure区域部署、分支指标接入MCP。
文章指出Kubernetes控制平面存在三类瓶颈:训练集群受节点数量限制,代理平台因对象频繁创建销毁而承受高写入压力,平台集群则因大量对象常驻内存而受限。作者提出四个“接缝”方案:分离存储、优化节点心跳、按哈希分片、控制缓存驻留,主张采用上游原生组件和经过规模测试的配置来解决,而非简单增加apiserver。
数据库架构需兼顾可用性、读性能、一致性与扩展性。分片解决数据量问题,常用哈希路由;分组通过主从复制提升可用性。可用性依赖冗余,但会引发一致性问题;读性能依赖索引、从库和缓存。一致性可通过中间件或强制读主缓解。扩展性支持平滑扩容与迁移。
本文介绍Elasticsearch的基本概念与指标:近实时搜索延迟约1秒;集群由多节点组成,统一进行索引和搜索;节点是集群中的服务器;索引是相同特性文档的集合;文档是最小索引单元,以JSON表示;分片用于突破单机存储限制,副本保障可用性;fielddata用于文本字段内存查询;doc values支持高效聚合;norms存储评分因子;召回率衡量查全,准确率衡量查准。
测试环境ES因索引分片过多、副本多且磁盘性能差,导致单机IO打满、查询超时。优化建议:改用SSD,分片减至2个,副本减为1,并引入Tair缓存,让ES仅处理复杂查询以减轻压力。
Redis Data Integration(RDI)新增多源管道功能,支持将Snowflake、MongoDB、Oracle、MySQL、PostgreSQL等多个源数据库接入单一管道,捕获并转换数据后加载到同一Redis目标库,形成统一低延迟数据层,减少应用层数据拼接和独立集成部署。未来将支持多管道,使单次RDI安装服务整个集成架构,便于分离工作负载并随需扩展。
Neki平台预览版发布后,团队通过简单单分片主键查询测试扩展性。从5分片扩展到512分片,实现每秒1.185亿次查询,处理1.22 PiB数据,吞吐量随分片数线性增长。每分片约23万QPS,路由器p99延迟6.06毫秒,错误率约180万分之一。该测试为只读、无副本、无故障切换。
文章以一条跨四个分片的Postgres查询为例,讲解分片数据库如何伪装成单一Postgres:路由器用Go实现认证、协议解析和查询规划,通过哈希分片键定位数据,再以散播-收集方式从各分片取回数据,并在路由器内完成哈希连接;同时说明连接池、执行引擎及按customer_id分片可使连接本地化,避免跨分片连接。
本文介绍数据并行与ZeRO优化技术。ZeRO通过三级分片(优化器状态、梯度、权重)减少显存占用,前两级不增通信量,第三级需额外all-gather。ZeRO-1每参数4+12/N字节,ZeRO-2为2+14/N,ZeRO-3降至16/N。分片可放CPU,用双缓冲减少GPU占用,但需PCIe带宽支持。
Postgres大表会导致性能问题,如删除操作超时、复制延迟和停机。解决方案包括分区、垂直扩展和分片。分片将表分布到多个集群,解决真空延迟、备份慢、索引过多和宽表问题,并避免事务ID耗尽。分片是处理大表的最佳方案,但需选择正确的分片键。
Postgres分片历史:从MySQL因LAMP流行而领先,到Postgres的PL/Proxy、Instagram逻辑分片、Citus扩展等方案。Neki作为新方案,结合前人经验,提供显式分片、真实Postgres集群、可扩展路由器和完整生命周期管理,旨在简化分片复杂度,实现行星级扩展。
PlanetScale通过并行化技术实现大规模分片Postgres数据库的高效备份。系统为每个分片启动独立EC2实例,从S3恢复旧备份,混合使用S3和主节点回放WAL日志,最终加密存储新备份。此方法将32TB数据库备份时间从22小时缩短至2.8小时,并支持数据库扩容和节点替换,确保生产环境零影响。
本文讨论了Elasticsearch中的性能问题及解决方案,包括写入拒绝、搜索慢、内存高和结果不全等症状,分析了可能的原因并提供了决策树以帮助排查。强调了电路断路器和刷新频率对性能的影响,建议通过合理配置和监控来优化集群性能。
本文对比了Milvus 2.6.x与Qdrant在向量检索引擎中的架构和部署方式。Milvus强调存算分离,采用多组件架构,而Qdrant则提供单节点的简化部署,适合中小规模应用。两者在分布式部署、数据过滤和扩展性方面存在显著差异,选择时需考虑团队需求和运维复杂度。
Kubernetes v1.36引入了服务器端分片列表和监视功能,解决了大规模集群中控制器的扩展问题。该功能允许API服务器过滤事件,使每个控制器副本仅接收其负责的资源片段,从而降低CPU、内存和网络开销。通过指定哈希范围,控制器可以更高效地管理资源,提升性能。目前该功能仍处于alpha阶段,期待用户反馈。
处理 Red 状态的 Elasticsearch 索引时,可以使用 GET 命令查看分片状态。对于未分配的分片,可以尝试重新分配或直接删除。
完成下面两步后,将自动完成登录并继续当前操作。