Databricks
·
在Unity Catalog中引入Python用户定义表函数（UDTFs）
💡
原文英文，约900词，阅读约需3分钟。
📝
内容提要
Python用户定义表函数（UDTFs）简化了复杂查询，支持在整个表上运行状态保持的Python代码，适合时间序列分析等高级任务。Unity Catalog中的UDTFs可跨会话和工作区调用，确保安全执行。
🎯
关键要点
- Python用户定义表函数（UDTFs）简化复杂查询，支持在整个表上运行状态保持的Python代码。
- UDTFs允许在整个表上运行强大的Python逻辑，适合解决复杂问题。
- 使用TABLE()关键字，可以将任何表、视图或动态子查询直接传入UDTF。
- UDTFs可以在每个数据分区中仅运行一次昂贵的初始化代码。
- UDTFs能够在分区内维护行之间的状态，支持高级分析如时间序列模式检测。
- Unity Catalog中的UDTFs可跨会话和工作区调用，确保安全执行。
- UDTFs可以在Databricks SQL、标准和专用UC集群及Lakeflow管道中调用。
- 通过系统表或Catalog Explorer发现UDTFs，并在用户之间共享。
- UDTFs的执行在沙箱中进行，防止其他工作负载的干扰。
- 示例：使用UC Python UDTFs进行IP地址与网络CIDR块的匹配，简化数据工程问题。
➡️
