VLDB 2023 | CDSBen: 字节跳动 veDB 数据库存储系统性能测试模型
原文中文,约3900字,阅读约需10分钟。发表于: 。背景随着业务爆炸式增长与云原生技术的日渐成熟,大量云原生分布式数据库产品如雨后春笋般涌现,其中一部分主打 OLTP 场景的分布式数据库强调的是从计算-存储分离架构获得弹性收益;对于业界各种计算-存储分离架构的数据库而言,怎么用真实的端到端数据库 workload 去 benchmark 其底层存储系统一直存在以下难题:对于数据库专用存储系统,不存在如 fio 一样的“事实标准” benchmark...
随着业务增长和云原生技术的发展,云原生分布式数据库产品不断涌现。字节跳动提出了CDSBen模型,利用机器学习预测存储层的IO pattern,实现真实的benchmark。CDSBen包括IOPS序列预测模型和联合分布预测模型,通过训练模型和改造后的YCSB工具进行基准测试。CDSBen的优势在于准确、灵活和易用。实验结果显示,CDSBen生成的读写请求性能更贴近真实业务流量。