本文基于TPC-H/TPC-DS SF1000基准,在StarRocks存算分离架构下横评AWS Graviton(arm64)与x86实例。结果显示Graviton4(m8g)性价比最优,同代相比x86省34%-52%,且性能领先。建议首选m8g,内存密集选r8g/r7g,x86生态选m8i。
过去五年,中国开源数据库产品如OceanBase和TiDB采用了不同的开源协议。OceanBase选择MulanPubL-2.0,旨在防止竞争并鼓励社区贡献;而TiDB则选择Apache 2.0,以便于国际化和云市场的集成。总体来看,Apache 2.0因其友好性和低法律风险,成为主流选择。
某光伏新能源企业计划将海外业务迁移至AWS,采用StarRocks实现存算分离架构。迁移方案需满足数据量大、影响小、无官方工具等要求。最终设计出基于导出导入的增量迁移方案,结合Amazon服务,确保数据完整性和一致性,减少对源集群的影响。
StarRocks 3.0 是一款 MPP 分析数据库,采用存算分离架构,将数据存储在 S3 或 HDFS 中,降低成本并增强扩展性。通过 S3 和本地缓存提升查询性能,使用 EKS 和 Karpenter 实现计算节点自动伸缩,Graviton 实例进一步降低成本。Terraform 简化 EKS 部署,构建高性能云数据分析平台。
数据分析在企业战略决策中起关键作用。StarRocks on AWS是高效的数据分析解决方案,利用AWS Graviton3处理器实现超高性价比提升。测试表明,StarRocks on Graviton3相对于Ice Lake 8375C实现了30%以上性能提升和50%以上性价比提升。Graviton4即将发布,性能提升高达30%。
StarRocks推出存算分离版本,通过物理隔离提高资源利用率和数据可靠性。存算分离版的核心组件包括FE Worker、CN Worker、Starlet、Shard、StarManager等。存算分离版本实现了热数据更快访问、冷数据更便宜存储的目标。存算分离版本的存储成本可降低90%以上。StarRocks 3.0存算分离版本适用于企业的数据分析和治理需求。
StarRocks是专为实时数据分析而设计的解决方案,在亚马逊云科技平台上进行性能基准测试,StarRocks在所有22个查询中均优于Presto。许多行业领先企业已采用StarRocks作为其大数据平台的关键组成部分。
阿里云与StarRocks社区合作推出云原生产品实践,提供易用的慢SQL分析和集群健康诊断、可视化的元数据管理等功能。StarRocks Manager提供实例管理、诊断分析、元数据管理、安全中心等功能,并在社交、在线教育、电商等场景得到应用。未来规划包括增强DLF湖仓分析场景、实例健康检查、物化视图管理能力等。
本文介绍了水滴筹在阿里云EMR StarRocks上的实战经验,包括权限与资源、数据管理与质量、当前问题和未来规划。未来规划主要从用户画像、监控报警和用户行为分析三方面入手,计划将更多业务场景接入StarRocks中,实现更全面的权限控制和资源隔离,并探索更多新功能、新场景。
前言2020 年末入职作业帮,接触到了 doris,当时还是 doris on es,后来随着业务的发展,从 doe 切到 dorisdb,再到 starrocks,期间做过了很多基础测试(包括离线,实时摄入,doris 本身的数据集成工具,apache seatunnel 的 doris connector 等),也碰到过很多慢查询问题,内部的广告用户画像平台也是基于 starrocks...
完成下面两步后,将自动完成登录并继续当前操作。