小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
沉浸式翻译 immersive translate

湖屋中的Parquet文件不可修改,模式演进通过元数据实现:每列创建时分配不可变字段ID并写入文件,读取时按ID映射,无需重写数据。新增列分配新ID,旧文件缺失该ID则填NULL;删除列仅设结束快照,保留历史以支持时间旅行;重命名列不改ID,旧文件自动适配。模式版本仅在结构变更时递增,以保证同版本文件可安全合并。

湖屋——第6阶段:模式演进

Kimserey Lam’s website, Software Development blog posts, videos and tutorials Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-10-17T05:00:00Z

湖仓查询阶段中,SELECT 查询先解析表与快照,获取该快照的数据文件,再利用列统计信息裁剪文件,跳过不可能匹配的文件。存活文件随后过滤删除行、读取 Parquet、按谓词筛选并投影列。统计裁剪、删除过滤、列投影和缺失列补 nil 共同实现高效扫描与模式演进。

湖仓 – 第4阶段 扫描与查询

Kimserey Lam’s website, Software Development blog posts, videos and tutorials Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-10-10T05:00:00Z

湖仓项目第二阶段使用Go语言的parquet-go库读写Parquet文件。Parquet为列式存储,记录每列min、max、null_count统计信息,支持文件裁剪以减少I/O。写入时通过StatsCollector实时收集统计;读取时按列投影,仅读所需列。每列带field ID,重命名后仍能正确匹配,为模式演进奠定基础。文件以UUID命名避免冲突。

湖仓项目第二阶段:Parquet数据文件

Kimserey Lam’s website, Software Development blog posts, videos and tutorials Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-10-03T05:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 1tok 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator 模力方舟 Gitee AI

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码