小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ

DuckLake是一种基于DuckDB扩展的湖仓格式,将元数据与数据分离:目录(本地文件或PostgreSQL)存储表结构、快照和文件指针,Parquet文件存储实际数据。支持本地运行及PostgreSQL+MinIO生产部署,通过分区将文件组织在S3中。查询时利用目录中的列统计进行分区剪枝和谓词下推,可跳过无关文件,显著提升查询效率。

DuckLake — 基于DuckDB的开源湖仓

Kimserey Lam’s website, Software Development blog posts, videos and tutorials Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-08-22T05:00:00Z
95% 的业务分析交给 AI 后,Anthropic 数据团队做对了什么? - 编程一生

Anthropic数据团队将95%业务分析交给AI,准确率达95%。核心方法:建立标准数据层、维护元数据、用Skill提供操作手册、持续评测验证。关键发现:查数难点在上下文映射而非SQL生成,历史SQL直接检索无效,数据治理因AI更重要。建议从少量标准数据集、薄Skill和几十个测试问题起步。

95% 的业务分析交给 AI 后,Anthropic 数据团队做对了什么? - 编程一生

编程一生 编程一生 · 2026-08-21T03:28:00Z
一路反射到底

本文介绍MrDocs文档工具的重大更新:用自研MrDocs.Describe替代Boost.Describe,实现元数据通用比较与序列化;新增Lua/JavaScript脚本扩展、数据驱动生成器及宏支持;修复模板特化、文档注释等多项缺陷;并维护Boost.StaticString库。

一路反射到底

The C++ Alliance The C++ Alliance · 2026-08-21T00:00:00Z

CephFS将POSIX文件系统构建于RADOS之上,MDS作为可恢复状态机,通过journal持久化元数据。其核心挑战包括:MDS故障恢复、capability机制维持客户端缓存一致性、多active MDS的subtree迁移可能引发thrashing,以及fsync/stat操作的高网络往返成本。相比RBD,CephFS在元数据面(journal、caps、subtree、dirfrag)付出更高代价,快照需客户端协作,性能与一致性权衡复杂。

【Ceph RADOS】CephFS / MDS:可恢复元数据服务、subtree 分区与 POSIX 代价

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-14T00:00:00Z

本文介绍Ceph BlueStore架构,替代FileStore解决双写与目录元数据问题。核心组件包括BlockDevice(裸盘I/O)、BlueFS(RocksDB专用文件系统)、RocksDB(对象元数据存储)和Allocator(空闲空间管理)。BlueStore将数据直写裸盘,元数据存KV,支持校验和与压缩,但面临compaction带宽竞争和挂载延迟等挑战。

【Ceph RADOS】BlueStore 架构:BlockDevice、BlueFS、RocksDB 与 Allocator

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-08-14T00:00:00Z

流媒体时代音乐发现困境源于算法同质化与单曲消费,建议建立“音乐探索系统”:通过算法、社区、榜单发现,用乐评筛选,延伸探索制作人与关联作品,并用元数据建立个人音乐地图。推荐RYM、Discogs等工具及人工推荐渠道,强调系统化探索以突破茧房。

在流媒体时代,搭建一个专属于自己的「音乐探索系统」

少数派 少数派 · 2026-07-30T06:53:18Z
HDFS FsImage 详解

HDFS FsImage是NameNode的元数据快照,记录文件系统目录树和块映射。核心流程包括加载和保存,采用Protobuf格式,支持并行处理。加载时通过LoaderDelegator自动检测新旧格式,保存时按固定顺序写入各section。系统包含压缩管理、存储检查、HTTP传输和离线查看工具,配置参数可控制压缩和并行加载行为。

HDFS FsImage 详解

小令童鞋 小令童鞋 · 2026-07-29T14:04:37Z

Java中的注解为程序元素(如类、方法等)提供元数据。CodeQL数据库支持对注解及其元素的查询和分析,能够识别缺失的注解或调用已废弃的方法。使用@SuppressWarnings可以抑制警告,而@Override用于标记覆盖方法。

Annotations in Java

像清水一般清澈透明 像清水一般清澈透明 · 2026-07-17T14:14:20Z
“数据库即产品”:当存储设备扩展时,什么会崩溃

Plaud的AI记笔记产品在数据架构上面临挑战,因结构化元数据与非结构化内容分离,导致实时一致性缺失。随着用户量增加,数据库限制影响了产品更新和功能发布。最终,Plaud将元数据层整合到分布式SQL数据库中,解决了架构债务,恢复了在线模式,确保了产品的可靠性。

“数据库即产品”:当存储设备扩展时,什么会崩溃

The New Stack The New Stack · 2026-07-15T12:00:00Z
代理运行现在显示eve项目的子代理活动

现在可以在代理运行中检查eve项目的子代理活动。新的子代理标签按启动的回合组织每个子代理,显示提示、持续时间和任何失败信息。点击子代理可查看其运行详情,包括回合、工具调用、元数据、成本和令牌使用情况。

代理运行现在显示eve项目的子代理活动

Vercel News Vercel News · 2026-07-13T00:00:00Z

本文探讨了Trino查询引擎的执行流程,包括分析、计划、分片和调度等阶段,重点介绍了Iceberg表的元数据处理及其对查询性能的影响。通过分析SqlQueryExecution的生命周期,阐明了SQL查询如何转化为分布式执行计划,并强调了EXPLAIN和EXPLAIN ANALYZE的使用,以优化查询效率。

【分布式 OLAP 查询引擎】Trino 查询路径:从 SqlQueryExecution 到 Page 流

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-07T00:00:00Z

本文讨论了 Git 中的索引结构及其与工作区和 HEAD 的关系。介绍了文件的角色、操作对索引的影响、冲突阶段及扩展节。索引记录路径、元数据和对象 SHA,合并冲突时同一路径可出现多个条目。扩展节包含缓存结构和冲突信息,以加速操作。最后提到索引与工作区的一致性及未来版本的参考。

【Git 内部】index 暂存区:dircache v2 与扩展节

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-07-05T00:00:00Z
如何使用JavaScript构建基于浏览器的PDF分析器

本文介绍了如何使用JavaScript构建一个基于浏览器的PDF分析器。该工具支持用户上传PDF文件,预览页面,配置分析选项,并提取文档的元数据、文本统计和安全设置等信息。分析过程在本地进行,确保隐私和安全,用户还可以将分析报告导出为PDF、JSON和CSV等多种格式。

如何使用JavaScript构建基于浏览器的PDF分析器

freeCodeCamp.org freeCodeCamp.org · 2026-07-03T15:37:58Z

本文探讨了Parquet文件的结构与性能优化,包括数据的物理切分(行组、列块、页面)、元数据存储方式,以及通过裁剪元数据(如列索引、偏移索引、布隆过滤器)提高查询效率。Parquet采用“先写数据、后写元数据”的设计,文件尾部包含所有统计信息,支持高效的谓词下推和投影下推,显著减少读取数据的IO量。

【数据湖与开放表格式】Parquet 文件格式深拆

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-06-30T00:00:00Z

Iceberg通过四层不可变元数据树解决了对象存储中的目录管理问题。这四层分别存储表的状态、快照信息、manifest列表和数据文件,确保原子提交和快照隔离。查询时,Iceberg利用元数据快速定位数据文件,避免了传统方法中的高成本LIST操作,并支持高效的分区裁剪和文件裁剪,提升查询性能。

【数据湖与开放表格式】Iceberg 元数据树

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-06-30T00:00:00Z

小文件问题源于元数据与I/O开销远超数据本身,导致空间浪费和性能下降。文章从块分配、元数据、磁盘寻道和协议层分析成因,提出应用层打包、嵌入式存储引擎和对象存储等解决方案,并强调避免调小块大小等无效措施。

【存储工程】小文件问题:为什么文件数量比文件大小更致命

土法炼钢兴趣小组的博客 土法炼钢兴趣小组的博客 · 2026-06-11T00:00:00Z
如何使用Python获取TIFF元数据

本文介绍了如何使用Python和Pillow库提取TIFF图像的元数据。通过TiffTags模块,可以创建tiff_metadata.py文件,编写代码读取图像并输出其元数据,如图像宽度、长度和压缩方式。这些方法有助于图像处理和管理。

如何使用Python获取TIFF元数据

Mouse Vs Python Mouse Vs Python · 2026-06-10T19:15:42Z

在Ubuntu 26.04 LTS上使用GIMP编辑照片时,EXIF元数据可能会丢失。尽管启用了“导出时默认保存EXIF元数据”选项,但在“文件 -> 另存为”时,默认未选中“保存EXIF”选项。启用后,该设置会自动应用于“文件 -> 覆盖”操作,从而保留EXIF元数据。

在GIMP中保留EXIF元数据

Lei Mao's Log Book Lei Mao's Log Book · 2026-06-08T07:00:00Z
如何使用JavaScript构建基于浏览器的PDF元数据编辑器 - 一步一步的指南

本文介绍了如何使用JavaScript构建基于浏览器的PDF元数据编辑器。用户可以上传PDF文件,预览文档,查看和更新元数据,添加自定义元数据,并直接下载更新后的PDF。元数据在文档管理中至关重要,有助于组织和搜索文件,整个过程在本地进行,确保隐私和安全。

如何使用JavaScript构建基于浏览器的PDF元数据编辑器 - 一步一步的指南

freeCodeCamp.org freeCodeCamp.org · 2026-06-07T00:23:27Z
维博尔·库马尔:没有语义的人工智能只是昂贵的猜测

现代AI系统越来越依赖语义基础设施,如元数据、分类法和本体,以确保数据的可信性和上下文理解。企业在实施AI时,应关注数据的语义结构,而不仅仅是模型本身。开源数据平台如PostgreSQL在这一转型中发挥重要作用,帮助企业整合数据、元数据和治理,提升AI的操作智能。

维博尔·库马尔:没有语义的人工智能只是昂贵的猜测

Planet PostgreSQL Planet PostgreSQL · 2026-05-26T11:01:42Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码