SonnetDB 是 IoTSharp 团队开发的高性能时序数据库,基于 C# / .NET 10 构建,专为物联网和实时分析设计。其嵌入式特性使部署简单,支持高达 180 万点/秒的写入速度,采用四层存储架构,确保数据安全和高效查询,适合边缘计算和小型化应用,填补了 .NET 生态在时序数据库领域的空白。
SonnetDB 是 IoTSharp 团队开源的高性能时序数据库,基于 C# / .NET 10 构建,专为物联网和实时分析设计,具备生产级能力,适合 .NET 开发者替代传统数据库。
本文探讨了时序数据库的核心机制,包括Prometheus TSDB、InfluxDB TSM/TSI和VictoriaMetrics的写入特性与压缩算法。重点分析了Gorilla压缩算法的数学原理,以及时序数据的写入特性、查询优化和存储效率。最后对比了ClickHouse在Metrics存储中的适用场景,强调了不同数据库在写入吞吐、查询延迟和磁盘占用等方面的权衡与选择。
时序数据库(TSDB)专为处理大量时序数据而设计,传统关系型数据库难以应对。时序数据按时间顺序记录,写入频繁、读取稀少。本文分析了时序数据的特征、编码压缩原理、存储引擎设计及降采样策略,并对主流TSDB(如InfluxDB、Prometheus、TimescaleDB)进行了架构对比,为监控与物联网场景提供参考。
传统数据库在高并发时序场景下性能不足,瀚高数据库的时序数据库解决方案可实现每秒500万点写入,压缩率达到10:1,显著提升查询响应时间,支持数字化转型。
LSM-Tree(日志结构合并树)是一种适合写入远多于读取的存储系统的结构。其核心思想是将数据先写入内存中的有序结构,再顺序写入磁盘,以避免随机写入的性能瓶颈。与B-Tree相比,LSM-Tree通过追加写和后台归并优化写入性能,适合时序数据库和日志存储。文章介绍了LSM-Tree的组件及其工作原理,包括WAL、MemTable、SSTable和Compaction等。
VictoriaMetrics是一款高性能时序数据库,以其卓越的写入性能和低内存占用而受到欢迎。文章分析了其源码,强调模块化设计、内存管理和并发控制等编程技巧,展示了通过代码优化实现高效性能的方法。
本文介绍了如何使用Prometheus和Grafana监控Amazon Timestream for InfluxDB,构建企业级时序数据库监控解决方案。通过标准化指标,运维人员可以实时监控数据库性能,及时发现问题并优化资源配置。文章详细描述了环境准备、Prometheus和Grafana的安装配置,以及创建监控仪表板和告警机制,以确保系统稳定性和高效运维。
TDengine是一款开源、高性能的时序数据库,适用于物联网和工业互联网。它集成了缓存、流式计算和AI功能,支持高效的数据处理和实时分析,设计简洁,易于安装和集成,核心代码完全开源。
Amazon Timestream在中国及海外区域推出,适用于物联网和金融数据场景。物联网中,时序数据库高效存储和处理设备数据,支持实时监控;在金融领域,处理高频交易数据并生成K线图,满足实时分析需求。结合Grafana可视化,提供直观的数据展示。
2024年,谭新宇在清华IoTDB创业公司天谋科技担任内核开发工程师,专注于提升时序数据库IoTDB的性能和易用性。公司营收同比增长近300%,成功进入摩尔定律的成长节奏。团队在TPCx-IoT基准测试中表现优异,推动了共识算法和性能优化的创新,显著提升了系统稳定性和用户体验。未来希望继续保持技术创新和业务突破。
华为云开源的云原生高性能时序数据库项目openGemini成为CNCF官方项目,解决海量可观测性数据存储与分析挑战,已有60多家企业和单位测试和落地应用。华为云希望推动时序数据库技术创新。
Prometheus是一套完备的监控生态解决方案,包括时序数据库和监控系统。它在2020年2月的排名中跃居第三名,超越了其他时序数据库。这份141页的官方中文文档适合入门和进阶学习,包括Prometheus的介绍、安装、启动、查询、可视化、Instrumenting、操作和警告等内容。
Amazon推出Timestream for InfluxDB服务,提供全托管的高性能时序数据库解决方案,具有高效存储和查询能力,支持类似SQL的查询语言和数据保留策略自动删除旧数据。
FlashDB是一款高度优化的嵌入式数据库,提供键值和时序两种模式,适用于存储产品参数、用户配置信息、运行日志等。具有资源占用低、支持多分区和磨损平衡、支持掉电保护等特性。
CeresDB是一个专注于大规模时序数据存储和访问的时序数据库解决方案,团队正在招募熟悉C/C++/Rust中任意一语言的开发人员,要求有存储相关开发经验,有开源项目经验者优先。地点在杭州。
Google Universal Analytics被Google Analytics 4取代,作者发现使用后者进行App分析不方便。作者试过类似mixpanel的服务,但觉得不如Google Universal Analytics好用。于是作者决定自己开发一个后端存储Events的服务,并计划研究时序数据库和开发简洁的前端,如果觉得好用,就打包成服务做成一款产品。
华为云开源的DTSE技术布道师黄飞腾分享了时序数据库的特点和遥测数据应用场景下的优势,以及openGemini时序数据库针对高基数问题开发的列存引擎。
华为云和openGemini社区联合举办直播活动,介绍了openGemini时序数据库的特点、应用场景、开源目标和价值、差异化竞争力、核心能力、技术生态、运维管理和社区路标。openGemini是一款开源的高性能、分布式的时序数据库,专注于海量遥测数据存储和分析场景。它具有流式聚合、多级降采样、日志检索、异常检测和预测、高基数引擎等差异化能力。openGemini还支持InfluxDB的兼容性,提供强大的组件和工具,方便运维管理和应用开发。openGemini致力于成为一流的时序数据库技术社区,并希望吸引更多企业和开发者参与,共同建设开源社区。
本文介绍了时序数据库在企业和组织中的应用,以及InfluxDB 2.x中时间线的组织和呈现形式。同时,文章还探讨了高基数数据对InfluxDB读写性能的影响和应对措施。
完成下面两步后,将自动完成登录并继续当前操作。