InfoQ
·
Meta开源OpenZL：一个针对结构化数据的通用压缩框架
💡
原文英文，约700词，阅读约需3分钟。
📝
内容提要
Meta最近开源了OpenZL，这是一个针对高度结构化数据的新数据压缩框架。与通用工具相比，OpenZL通过显式建模数据结构，实现更好的压缩比和速度。其通用解压器简化了操作，无需外部元数据，支持单一二进制文件的全局更新，特别适用于时间序列数据、机器学习张量和数据库表。开发者可在GitHub上进行实验和贡献。
🎯
关键要点
- Meta最近开源了OpenZL，这是一个针对高度结构化数据的新数据压缩框架。
- OpenZL通过显式建模数据结构，实现比通用工具更好的压缩比和速度。
- OpenZL的通用解压器简化了操作，无需外部元数据，支持单一二进制文件的全局更新。
- OpenZL专注于结构化数据，如时间序列数据、机器学习张量和数据库表。
- OpenZL通过配置可逆变换序列，揭示数据中的潜在顺序，从而优化压缩效果。
- 每个OpenZL文件都可以使用相同的二进制文件解压，无需外部元数据。
- OpenZL在内部基准测试中显示出显著的压缩比和速度优势。
- 用户可以使用简单数据描述语言（SDDL）描述数据结构，离线训练器生成优化的压缩计划。
- OpenZL的固定执行图确保了可重复的解压行为，适合长期数据归档。
- OpenZL在结构化数据上表现最佳，适应数据的特定结构以提高压缩效果。
- 该框架已在GitHub上公开，供开发者实验和贡献。
❓
延伸问答
OpenZL是什么？
OpenZL是Meta开源的一个针对高度结构化数据的新数据压缩框架。
OpenZL与通用压缩工具相比有什么优势？
OpenZL通过显式建模数据结构，实现比通用工具更好的压缩比和速度。
如何使用OpenZL进行数据压缩？
用户可以使用简单数据描述语言（SDDL）描述数据结构，离线训练器生成优化的压缩计划。
OpenZL的解压器有什么特点？
OpenZL的通用解压器简化了操作，无需外部元数据，支持单一二进制文件的全局更新。
OpenZL适合处理哪些类型的数据？
OpenZL专注于结构化数据，如时间序列数据、机器学习张量和数据库表。
OpenZL的压缩效果如何？
在内部基准测试中，OpenZL显示出显著的压缩比和速度优势，压缩比优于zstd -3。
➡️
