Databricks
·
在Unity Catalog中引入Python用户定义表函数（UDTFs）
💡
原文英文，约900词，阅读约需3分钟。
📝
内容提要
Python用户定义表函数（UDTFs）简化了复杂查询，支持在整个表上运行状态保持的Python代码，适合时间序列分析等高级任务。Unity Catalog中的UDTFs可跨会话和工作区调用，确保安全执行。
🎯
关键要点
- Python用户定义表函数（UDTFs）简化复杂查询，支持在整个表上运行状态保持的Python代码。
- UDTFs允许在整个表上运行强大的Python逻辑，适合解决复杂问题。
- 使用TABLE()关键字，可以将任何表、视图或动态子查询直接传入UDTF。
- UDTFs可以在每个数据分区中仅运行一次昂贵的初始化代码。
- UDTFs能够在分区内维护行之间的状态，支持高级分析如时间序列模式检测。
- Unity Catalog中的UDTFs可跨会话和工作区调用，确保安全执行。
- UDTFs可以在Databricks SQL、标准和专用UC集群及Lakeflow管道中调用。
- 通过系统表或Catalog Explorer发现UDTFs，并在用户之间共享。
- UDTFs的执行在沙箱中进行，防止其他工作负载的干扰。
- 示例：使用UC Python UDTFs进行IP地址与网络CIDR块的匹配，简化数据工程问题。
❓
延伸问答
什么是Python用户定义表函数（UDTFs）？
Python用户定义表函数（UDTFs）是一种允许在整个表上运行状态保持的Python代码的功能，旨在简化复杂查询。
UDTFs如何支持时间序列分析？
UDTFs能够在分区内维护行之间的状态，这使得它们适合进行时间序列模式检测等高级分析。
如何在Unity Catalog中调用UDTFs？
在Unity Catalog中，UDTFs可以通过TABLE()关键字直接调用，支持跨会话和工作区的访问。
UDTFs的执行是如何确保安全的？
UDTFs在沙箱中执行，具有临时磁盘和网络访问，防止其他工作负载的干扰，确保安全性。
UDTFs在数据工程中的一个具体应用是什么？
一个具体应用是使用UDTFs进行IP地址与网络CIDR块的匹配，简化数据工程问题。
使用UDTFs有什么优势？
使用UDTFs可以在每个数据分区中仅运行一次昂贵的初始化代码，并且可以灵活处理任何数据集。
➡️
