fastalp 是纯 Rust 实现的 ALP 浮点无损压缩算法,面向时序数据库与 IoT。相比 C++ 原版,端到端压缩提速 2.58 倍,解压达 25.3 GB/s,压缩比提升 60%,准常量数据可达 744 倍。核心优化包括三级剪枝、单遍寄存器解码、精确除法、自适应 Delta 及硬件舍入,支持零堆分配与 no_std。
VictoriaMetrics(VM)是一款兼容Prometheus的时序数据库,具有低资源占用和强扩展性。它支持单机版和集群版,适合中小规模监控。单机版可替代Prometheus存储,集群版通过多个节点实现数据存储和查询。此外,VM支持vmagent抓取指标并写入,适用于自监控和Grafana集成。
SonnetDB 是 IoTSharp 团队开发的高性能时序数据库,基于 C# / .NET 10 构建,专为物联网和实时分析设计。其嵌入式特性使部署简单,支持高达 180 万点/秒的写入速度,采用四层存储架构,确保数据安全和高效查询,适合边缘计算和小型化应用,填补了 .NET 生态在时序数据库领域的空白。
SonnetDB 是 IoTSharp 团队开源的高性能时序数据库,基于 C# / .NET 10 构建,专为物联网和实时分析设计,具备生产级能力,适合 .NET 开发者替代传统数据库。
本文探讨了时序数据库的核心机制,包括Prometheus TSDB、InfluxDB TSM/TSI和VictoriaMetrics的写入特性与压缩算法。重点分析了Gorilla压缩算法的数学原理,以及时序数据的写入特性、查询优化和存储效率。最后对比了ClickHouse在Metrics存储中的适用场景,强调了不同数据库在写入吞吐、查询延迟和磁盘占用等方面的权衡与选择。
时序数据库(TSDB)专为处理大量时序数据而设计,传统关系型数据库难以应对。时序数据按时间顺序记录,写入频繁、读取稀少。本文分析了时序数据的特征、编码压缩原理、存储引擎设计及降采样策略,并对主流TSDB(如InfluxDB、Prometheus、TimescaleDB)进行了架构对比,为监控与物联网场景提供参考。
传统数据库在高并发时序场景下性能不足,瀚高数据库的时序数据库解决方案可实现每秒500万点写入,压缩率达到10:1,显著提升查询响应时间,支持数字化转型。
LSM-Tree(日志结构合并树)是一种适合写入远多于读取的存储系统的结构。其核心思想是将数据先写入内存中的有序结构,再顺序写入磁盘,以避免随机写入的性能瓶颈。与B-Tree相比,LSM-Tree通过追加写和后台归并优化写入性能,适合时序数据库和日志存储。文章介绍了LSM-Tree的组件及其工作原理,包括WAL、MemTable、SSTable和Compaction等。
VictoriaMetrics是一款高性能时序数据库,以其卓越的写入性能和低内存占用而受到欢迎。文章分析了其源码,强调模块化设计、内存管理和并发控制等编程技巧,展示了通过代码优化实现高效性能的方法。
本文介绍了如何使用Prometheus和Grafana监控Amazon Timestream for InfluxDB,构建企业级时序数据库监控解决方案。通过标准化指标,运维人员可以实时监控数据库性能,及时发现问题并优化资源配置。文章详细描述了环境准备、Prometheus和Grafana的安装配置,以及创建监控仪表板和告警机制,以确保系统稳定性和高效运维。
TDengine是一款开源、高性能的时序数据库,适用于物联网和工业互联网。它集成了缓存、流式计算和AI功能,支持高效的数据处理和实时分析,设计简洁,易于安装和集成,核心代码完全开源。
Amazon Timestream在中国及海外区域推出,适用于物联网和金融数据场景。物联网中,时序数据库高效存储和处理设备数据,支持实时监控;在金融领域,处理高频交易数据并生成K线图,满足实时分析需求。结合Grafana可视化,提供直观的数据展示。
2024年,谭新宇在清华IoTDB创业公司天谋科技担任内核开发工程师,专注于提升时序数据库IoTDB的性能和易用性。公司营收同比增长近300%,成功进入摩尔定律的成长节奏。团队在TPCx-IoT基准测试中表现优异,推动了共识算法和性能优化的创新,显著提升了系统稳定性和用户体验。未来希望继续保持技术创新和业务突破。
VictoriaMetrics 是一个时序数据库,由 vmstorage、vminsert 和 vmselect 三部分组成。vmstorage 提供高可用的数据存储,采用无共享架构。数据通过 vminsert 进行分片写入,vmselect 负责查询。数据存储分为 small 和 big 目录,以优化读取和压缩效率,使用 ZSTD 压缩算法提升性能。
华为云开源的云原生高性能时序数据库项目openGemini成为CNCF官方项目,解决海量可观测性数据存储与分析挑战,已有60多家企业和单位测试和落地应用。华为云希望推动时序数据库技术创新。
Victoria Metrics(VM)是一款高性能的时序数据库,采用自增方式生成唯一的MetricID,并通过缓存和按天拆分的索引结构提升查询效率。其设计理念为“分而治之”,确保活跃数据结构小,从而优化性能。
Prometheus是一套完备的监控生态解决方案,包括时序数据库和监控系统。它在2020年2月的排名中跃居第三名,超越了其他时序数据库。这份141页的官方中文文档适合入门和进阶学习,包括Prometheus的介绍、安装、启动、查询、可视化、Instrumenting、操作和警告等内容。
Amazon推出Timestream for InfluxDB服务,提供全托管的高性能时序数据库解决方案,具有高效存储和查询能力,支持类似SQL的查询语言和数据保留策略自动删除旧数据。
FlashDB是一款高度优化的嵌入式数据库,提供键值和时序两种模式,适用于存储产品参数、用户配置信息、运行日志等。具有资源占用低、支持多分区和磨损平衡、支持掉电保护等特性。
CeresDB是一个专注于大规模时序数据存储和访问的时序数据库解决方案,团队正在招募熟悉C/C++/Rust中任意一语言的开发人员,要求有存储相关开发经验,有开源项目经验者优先。地点在杭州。
完成下面两步后,将自动完成登录并继续当前操作。