小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
引入FILE类型:面向多模态数据的原生列类型

FILE类型是Databricks新推出的列类型,可将非结构化数据(如视频、图像)作为原生列存储在表中,实现与结构化数据统一治理和查询。它通过轻量引用避免性能损耗,支持行级安全控制和生命周期同步,使数据AI就绪,适用于自动驾驶等场景,现处于Beta阶段。

引入FILE类型:面向多模态数据的原生列类型

Databricks Databricks · 2026-08-10T15:00:00Z

文章讨论了OLAP系统中的压缩技术,重点介绍了列存储的压缩方法。通过使用RLE、字典编码、位打包和增量编码等四种压缩编解码器,数据可以减少5-10倍。每种编码器根据数据类型自动选择,以实现最佳压缩效果,并介绍了压缩的实现细节和未来的开发计划。

OLAP – 第三阶段压缩

Kimserey Lam’s website, Software Development blog posts, videos and tutorials Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-07-01T05:00:00Z

OLAP数据库与OLTP数据库的主要区别在于数据存储方式。OLAP使用列存储,以提高分析查询速度。DuckDB的基础结构包括向量和数据块,每个向量最多可存2048个值,并使用有效性位掩码跟踪NULL值。数据块是列向量的集合,支持高效的数据处理和过滤。

OLAP – 第一阶段向量与数据块

Kimserey Lam’s website, Software Development blog posts, videos and tutorials Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-06-24T05:00:00Z

本文探讨了ClickHouse的列存储引擎MergeTree的架构与优势,强调其在OLAP场景下的高效性。列存储通过减少IO、优化压缩和向量化计算,显著提升查询性能。与行存和LSM存储相比,ClickHouse在处理分析负载时表现优越,适合高并发和大数据量的场景。文章还介绍了MergeTree的不同变种及其应用场景,强调了其在数据分析中的重要性。

【列存引擎内核】列存基础与 ClickHouse 架构

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-06-18T00:00:00Z

本文讨论了ClickHouse的列存储压缩技术,包括专用编码(如Delta和Gorilla)与通用压缩(如LZ4和ZSTD)。不同数据类型适用不同的编码策略,压缩效果需通过实测来验证。建议根据数据特征选择合适的CODEC,以优化存储和查询性能。文章还提到与PostgreSQL的对比,以及在高并发环境下的插入策略和性能监控。

【列存引擎内核】压缩与编码

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-06-18T00:00:00Z

本文探讨了ClickHouse的列存储架构及其向量化执行机制,强调了批量处理的优势。介绍了Block和IProcessor的结构,分析了数据读取、过滤和聚合的过程,并与PostgreSQL的执行器进行了对比,指出ClickHouse在OLAP场景中的高效性和优化设置。

【列存引擎内核】向量化执行引擎

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-06-18T00:00:00Z

C++中的StringView优化了字符串比较,短字符串直接内联存储,避免了指针解引用;长字符串通过前缀检查减少堆访问。在随机访问场景中,StringView显著提高了性能,尤其在列存储中。尽管顺序访问时SimpleStr略快,但StringView的优势在大多数情况下依然明显。

C++ StringView 优化字符串比较

baotiao baotiao · 2026-04-24T00:00:00Z
汉斯-尤尔根·肖宁:PostgreSQL存储:存储选项比较

高效的数据存储和归档至关重要。PostgreSQL提供行存储、列存储、CSV和Parquet文件等多种选项。行存储适合快速检索,列存储在大数据处理时更具压缩优势。CSV便于数据交换,Parquet适合长期存储。选择存储格式需根据具体需求。

汉斯-尤尔根·肖宁:PostgreSQL存储:存储选项比较

Planet PostgreSQL Planet PostgreSQL · 2025-07-15T05:52:53Z
Oracle 23ai中的内存顾问

Oracle 23ai通过内存顾问分析数据库工作负载,估算不同内存大小下的DB-Time,并推荐应放入内存列存储的对象。使用DBMS_INMEMORY_ADVISE包,需启用热图功能,启动分析任务,最终生成建议报告。

Oracle 23ai中的内存顾问

DEV Community DEV Community · 2025-05-18T18:37:34Z
DuckDB与ClickHouse Local:分析工作负载的比较分析

该报告比较了DuckDB和ClickHouse Local两种分析数据库系统,指出DuckDB适合小到中型数据集的本地分析,易于使用且与数据科学工具集成;而ClickHouse Local更适合处理大数据集,具备优化的列存储和查询能力。选择工具时需考虑数据规模和性能需求。

DuckDB与ClickHouse Local:分析工作负载的比较分析

DEV Community DEV Community · 2025-03-03T23:18:57Z
在PostgreSQL中处理数十亿行数据

在PostgreSQL中处理数十亿行数据时,使用Timescale的列存储和跳过索引功能可以显著减少表大小并提升查询速度。启用压缩后,表大小减少约95%,查询性能显著提高。TimescaleDB有效管理时间序列数据,提升存储效率和查询速度。

在PostgreSQL中处理数十亿行数据

Timescale Blog Timescale Blog · 2025-01-10T18:09:53Z

Polars发布1.0版本,是一个基于列存储、多线程的查询引擎,支持Python、NodeJS、R、SQL和Rust。更新引入了GPU加速和新的流处理引擎,提升性能和内存效率。Meilisearch发布1.9版本,优化搜索结果的相关性和准确性。Rust中使用泛型函数的小技巧可以减少代码量。

【Rust日报】2024-07-02 Polars 发布 1.0 版本

Rust.cc Rust.cc · 2024-07-02T16:05:09Z

本文介绍了GaussDB(DWS)中的向量化执行引擎,该引擎采用一次一批元组的执行模式,能够减少遍历执行节点的开销,提高CPU的有效利用率。向量化引擎与列存储结合,能够在底层扫描节点装填向量化的列数据。文章还介绍了行执行器和列执行器的区别,以及向量化引擎的性能优势。最后,文章提到了GaussDB向量化引擎的演进过程,包括Sonic向量化引擎和Turbo向量化引擎的推出,以及对各种算子的进一步优化。

详解数仓的向量化执行引擎

华为云官方博客 华为云官方博客 · 2024-04-25T08:47:02Z
大数据列存储文件格式

本文介绍了文件存储格式的设计和大数据为何偏爱列存储,列存储在IO效率、压缩技术、延迟物化和缓存性能方面具有优势。文章还介绍了Apache ORC和Apache Parquet的文件结构和代码示例,最后总结了ORC和Parquet的比较以及现代存储格式设计的局限性。

大数据列存储文件格式

Ying’s Blog Ying’s Blog · 2024-01-01T08:06:21Z
汉斯-于尔根·舍尼格:PostgreSQL中的Citus行存储与列存储

本文介绍了行存储和列存储的概念及应用场景。在OLTP应用中,行存储更适合;在分析和BI场景下,列存储更优。作者比较了行存储和Citus列存储的性能,发现列存储在存储空间和查询性能方面更优。但在分布式环境中,某些操作难以实现。因此,在设计决策时需要考虑到这一点。

汉斯-于尔根·舍尼格:PostgreSQL中的Citus行存储与列存储

Planet PostgreSQL Planet PostgreSQL · 2023-09-19T08:00:47Z

介绍了基于列存储格式的HStore表的概念和使用,支持高效的并发插入、更新和实时查询,同时介绍了Delta表实现和相关视图和函数的使用。在批量查询场景下,HStore表具有较好的查询性能。使用HStore表需要注意参数设置、并发同一行、索引相关、MERGE相关和UPSERT性能等问题。

HStore表全了解:实时入库与高效查询利器

华为云官方博客 华为云官方博客 · 2023-06-14T07:12:53Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码