根据MIT Tech Review报告，71%的组织计划建立自己的GenAI模型。然而，成功建立模型的关键在于建立可靠的数据管道以高效处理大量数据，并确保数据质量。数据工程师需要应对实时数据处理、扩展数据管道、数据质量和安全管理等挑战。建议使用Data Intelligence Platform解决这些问题，包括Delta Lake、Delta Live Tables、Databricks Workflows和Unity Catalog等关键功能。

Databricks公开预览了LakeFlow Connect for SQL Server、Salesforce和Workday，这些连接器简化和优化了从数据库和企业应用程序中的数据摄取。LakeFlow Connect与Data Intelligence Platform集成，提供无服务器计算和Unity Catalog治理。它解决了数据摄取中的挑战，如复杂配置、依赖于专业团队和有限的治理。LakeFlow Connect易于配置和维护，具有增量处理的高效性，并与Data Intelligence Platform原生集成。Databricks计划在未来扩展连接器并引入更多功能。

Databricks发布了Data Intelligence Platform，旨在提供一个统一的平台来访问和分析数据。过去六个月中，他们引入了几个新功能，包括数据摄取能力、Spark Structured Streaming的改进、对Apache Pulsar和UC View的支持作为流数据源、AAD认证支持、用于ETL的Delta Live Tables以及对Databricks Workflows的增强。这些更新旨在改进数据工程实践，为人工智能和分析项目构建可靠的数据流水线。