在 Delta Lake 和 Apache Spark 中引入开源 Variant 数据类型
原文英文，约1100词，阅读约需4分钟。发表于：。We are excited to announce a new data type called variant for semi-structured data. Variant provides an order of magnitude performance improvements compared...
Databricks 引入了一种新的数据类型，称为 Variant，与 JSON 字符串相比，它在存储半结构化数据方面提供了更好的性能。这种数据类型允许支持嵌套和不断演变的模式，具有灵活性。Variant 对于涉及半结构化数据的用例特别有用，例如端点检测与响应（EDR）、广告点击分析和物联网遥测。Variant 的实现是开源的，将包含在 Spark 4.0 和 Delta 4.0 中。与字符串相比，它提供了更快的数据访问和导航。Variant 支持无模式数据源，并在性能上显著优于传统方法。
