Lakeflow Designer 推出多项更新：新增 Prepare、Unique、Guardrails 等无代码操作符，增强 Join、Filter、Select 等功能，支持动态列选择与参数化输入输出；输出端可创建物化视图、合并表、写入文件；画布重新设计，新增可搜索目录、版本历史和实时光标；未来将集成 Databricks Apps、数据剖析、Report 操作符及 Lakebridge 迁移工具。

Lakeflow Connect 提供全托管原生连接器，可将 SaaS、数据库和文件数据直接增量摄取为 Unity Catalog 中的受治理表，无需自建管道。它覆盖营销、CRM 和广告平台，解决 Customer 360 数据碎片化问题。EcoVadis、iManage 等客户借此快速接入 HubSpot、Salesforce 等数据，节省工程时间。广告连接器还输出已聚合的报表表，并支持 Ad-Genie 加速器实现可视化与对话式分析。

Databricks推出Lakeflow平台，整合数据工程、人工智能和应用，简化数据处理。新功能包括Genie Code和Lakeflow Designer，支持无代码构建ETL管道。Genie ZeroOps监控数据资产并自动修复问题。Lakeflow Connect扩展支持100多个连接器，简化数据摄取。Zerobus Ingest实现高吞吐量数据传输，降低延迟。Lakeflow Jobs优化数据管道调度，提升处理效率。

Genie Code 是一种数据工程工具，允许工程师通过自然语言生成数据管道，简化开发、调度和故障调试。它能将原本需要数周的任务缩短至数小时，并确保符合治理标准。未来将推出 AI 优化工作负载，进一步提升效率。

Lakeflow Designer是Databricks推出的无代码数据准备工具，旨在降低数据处理的技术门槛。用户可以通过可视化界面和自然语言进行数据准备，并生成生产级Python代码。该工具集成AI功能，支持实时数据处理和迭代，促进业务团队的自主数据分析，提升数据治理和一致性。无用户许可费用的模式加速了其在各行业的采用。

企业知识的80%仍隐藏在PDF和文档中，传统智能文档处理(IDP)面临碎片化问题。Databricks通过Lakeflow和Document Intelligence提供统一解决方案，简化数据摄取和文档解析，提升数据可用性和智能化。自动化管道和治理帮助企业高效管理文档数据，转化为商业洞察。

Lakeflow Connect通过内置连接器解决数据孤岛问题，支持SaaS应用和数据库。新推出的免费层使更多团队能够将企业数据整合到Databricks，从而提升AI代理的能力，提供完整的企业上下文。

Azure Databricks扩展至Microsoft 365，用户可在熟悉的工具中获取受管数据和AI洞察。新功能包括Excel插件，支持直接访问湖仓数据，提升数据分析效率。Genie AI帮助用户提问并进行深入分析，Agent模式处理复杂问题，Genie Code支持数据工程和分析工作流。Databricks One提供统一的多代理聊天体验，方便用户随时访问数据。

本文讨论了将Apache Airflow迁移到Databricks的Lakeflow Jobs，重点在于执行细节和常见模式的转换。提供了迁移指南，包括任务值、触发器和参数化回填的处理。强调了在Lakeflow中使用条件任务和动态任务映射的最佳实践，建议逐步迁移。

Databricks的无服务器计算通过自动优化和智能基础设施选择，提高了数据工程的效率和成本效益。新功能帮助团队节省时间和成本，简化基础设施管理，自动处理版本升级和资源配置，使用户能够专注于数据产品和业务价值。

数据工程师正在利用AI改善ETL流程，构建可靠的数据管道。Databricks Lakeflow提供统一平台，自动化数据处理，提升工作效率。通过AI功能，工程师能够快速处理非结构化数据，提取商业洞察，减少手动操作。该平台支持文档解析和数据查询，助力企业高效分析和决策。

Zerobus Ingest是一种无服务器的数据流服务，简化了传统流架构，直接将数据推送至Lakehouse，降低成本并提升性能。它支持高并发连接，消除中间消息总线的复杂性，减少运营开销，适用于多种开发接口。

数据工程师在构建生产就绪管道时面临挑战。Lakeflow在Azure Databricks上提供统一的数据工程解决方案，集成数据摄取、转换和编排，简化开发流程，提高数据质量和安全性，帮助团队更高效地工作。

Lakeflow Jobs 现已推出回填运行功能，简化数据工程师在复杂数据生态系统中的工作。用户可通过无代码界面轻松配置历史数据回填，确保数据的完整性和准确性，提高工作效率。

Databricks宣布Lakeflow Jobs中的表更新触发器现已全面上线。该功能可在指定表更新时自动运行作业，提高数据处理效率，减少计算资源浪费。用户可以配置触发器，设定更新条件和时间间隔，以确保作业的及时性和高效性。

Lakeflow Connect推出SQL Server连接器，简化数据摄取，支持变更数据捕获（CDC）和变更跟踪（CT），提升数据新鲜度，降低运营成本，助力企业分析与决策。

随着数据量增加，数据平台面临更大风险。Lakeflow是Databricks的智能数据工程解决方案，具备内置可观察性，帮助监控和优化数据管道，确保数据质量和可靠性。用户可以通过集中视图和历史可观察性，轻松识别问题、优化性能，提升数据驱动决策能力。

全球每秒有数万架飞机生成物联网事件，数据工程师需要高吞吐量、低延迟的航空数据流处理平台。Lakeflow声明式管道通过简单的SQL或Python快速构建生产级流管道，处理实时航空数据，简化API集成和数据质量管理。

物化视图（MV）通过存储预计算的查询结果来提升查询性能并降低计算成本。Lakeflow声明式管道（LDP）支持MV的增量刷新，Enzyme引擎智能更新MV以减少资源消耗。增量刷新适用于小变更，而全刷新适用于重大变更。启用行跟踪和删除向量可优化MV更新。使用非确定性函数会触发全刷新，建议将其值推入源表。

Lakeflow Jobs（前称Databricks Workflows）近期更新了数据编排和工作流性能，界面更现代化，用户可更方便地监控任务执行时间，并选择隐藏或显示侧边栏。新增的部分运行和修复功能提升了调试效率，用户可选择特定任务执行以降低计算成本，同时SQL查询输出可作为参数，简化数据管道编排。