内容提要
Lakeflow Designer 推出多项更新:新增 Prepare、Unique、Guardrails 等无代码操作符,增强 Join、Filter、Select 等功能,支持动态列选择与参数化输入输出;输出端可创建物化视图、合并表、写入文件;画布重新设计,新增可搜索目录、版本历史和实时光标;未来将集成 Databricks Apps、数据剖析、Report 操作符及 Lakebridge 迁移工具。
延伸解读
无代码操作符降低技术门槛
新增的 Prepare、Unique、Guardrails 等操作符,让用户无需编写代码即可完成数据清洗、去重和质量检查。这降低了非技术用户的使用门槛,使分析师和领域专家能更自主地准备数据,减少对工程团队的依赖。
输出选项增强下游集成
输出端支持创建物化视图、合并到现有表以及直接写入 CSV、Excel、JSON 文件。物化视图可自动刷新,便于下游 AI/BI 仪表板快速计算;合并和文件输出则简化了数据更新与交换流程,提升工作流末端灵活性。
画布改进提升大型工作流可维护性
重新设计的画布增强了视觉对比和连接目标,并优化了滚动与平移性能,使包含数千个操作符的工作流更易导航。可搜索目录、版本历史和实时光标等功能,帮助团队快速定位、审查变更并协同编辑。
未来路线图聚焦协作与迁移
即将推出的 Databricks Apps 集成、全输出数据剖析、Report 操作符及 Lakebridge 迁移工具,旨在进一步简化分享、增强分析能力,并帮助用户从传统自助数据准备工具批量迁移,降低转换成本。
Q&A
Lakeflow Designer 是什么?它主要面向哪些用户?
Lakeflow Designer 是 Databricks 内置的可视化、无代码、AI 原生的数据准备与分析体验。它通过拖拽画布和自然语言,让分析师、领域专家等非技术用户也能准备和探索数据。
Lakeflow Designer 新增了哪些无代码操作符?
新增了 Prepare、Unique、Guardrails 三个无代码操作符。Prepare 用于清洗和标准化数据;Unique 用于去重;Guardrails 用于添加数据质量检查。
Lakeflow Designer 的 Join 操作符有哪些增强?
Join 操作符现在默认提供匹配、左未匹配和右未匹配行的独立输出,支持分支工作流并对异常值触发警报;还支持在单个操作符中连接两个以上的表。
Lakeflow Designer 的输出端现在支持哪些保存方式?
输出端支持创建物化视图、合并到现有表(更新匹配记录并插入新记录,也可追加)、以及直接写入 CSV、Excel 或 JSON 文件到 Unity Catalog 卷,Excel 输出还可动态写入不同工作表。
Lakeflow Designer 的画布有哪些改进?
画布重新设计,增加了视觉对比度、更大的连接目标和未配置操作符的清晰提示;改进了滚动和平移,使包含数千个操作符的大型工作流更易导航;新增可搜索目录、版本历史和实时光标。
Lakeflow Designer 未来计划集成哪些功能?
未来将集成 Databricks Apps、全输出数据剖析、Report 操作符(可组合多个输出并生成自定义报告),以及基于 Databricks Lakebridge 的原生迁移工具。
Lakeflow Designer 如何定价?
Lakeflow Designer 没有按用户许可或单独的许可费用,只需为使用的计算资源付费。
Lakeflow Designer 是否支持 Git 版本控制?
支持。将 Lakeflow Designer 文件放在 Databricks Git 文件夹中即可跟踪更改并与 Git 提供商同步。每个文件包含可视化布局和底层 Python 代码,两者一起进行版本控制。