使用 MapInPandas 和 Delta Live Tables 规模化处理不常见的文件格式

Databricks · 2023-08-24T06:21:06Z

Databricks Lakehouse 平台简化了构建可靠的流式和批处理数据管道的过程。然而，在将数据导入 Lakehouse 时，处理晦涩或不常见的文件格式仍然是一个挑战。一个大型客户的数据工程团队在处理包含电子邮件文件的大型 Tar 文件时遇到了内存错误和集群崩溃的问题。他们需要一个更具可扩展性的解决方案来每天处理 2 亿封电子邮件。