Databricks
·
在Unity Catalog中引入Python用户定义表函数（UDTFs）
内容提要
Python用户定义表函数（UDTFs）简化了复杂查询，支持在整个表上运行状态保持的Python代码，适合时间序列分析等高级任务。Unity Catalog中的UDTFs可跨会话和工作区调用，确保安全执行。
关键要点
-
Python用户定义表函数（UDTFs）简化复杂查询，支持在整个表上运行状态保持的Python代码。
-
UDTFs允许在整个表上运行强大的Python逻辑，适合解决复杂问题。
-
使用TABLE()关键字，可以将任何表、视图或动态子查询直接传入UDTF。
-
UDTFs可以在每个数据分区中仅运行一次昂贵的初始化代码。
-
UDTFs能够在分区内维护行之间的状态，支持高级分析如时间序列模式检测。
-
Unity Catalog中的UDTFs可跨会话和工作区调用，确保安全执行。
-
UDTFs可以在Databricks SQL、标准和专用UC集群及Lakeflow管道中调用。
-
通过系统表或Catalog Explorer发现UDTFs，并在用户之间共享。
-
UDTFs的执行在沙箱中进行，防止其他工作负载的干扰。
-
示例：使用UC Python UDTFs进行IP地址与网络CIDR块的匹配，简化数据工程问题。
延伸解读
UDTFs的灵活性与应用场景
Python用户定义表函数（UDTFs）通过TABLE()关键字，允许用户灵活地处理任何数据集。这种灵活性使得UDTFs适用于多种复杂场景，如时间序列分析和模式检测，能够有效简化数据工程中的复杂查询。
性能优化与资源管理
UDTFs的设计允许在每个数据分区中仅运行一次昂贵的初始化代码，这样可以显著提高性能，尤其是在处理大规模数据时。此外，UDTFs在沙箱中执行，确保了安全性，防止了不同工作负载之间的干扰。
跨会话与工作区的可访问性
在Unity Catalog中定义的UDTFs可以跨会话和工作区调用，这种可访问性使得团队成员能够共享和重用函数，提升了协作效率。同时，用户可以根据需要授予或撤销权限，确保数据治理的有效性。
延伸问答
什么是Python用户定义表函数（UDTFs）？
Python用户定义表函数（UDTFs）是一种允许在整个表上运行状态保持的Python代码的功能，旨在简化复杂查询。
UDTFs如何支持时间序列分析？
UDTFs能够在分区内维护行之间的状态，这使得它们适合进行时间序列模式检测等高级分析。
如何在Unity Catalog中调用UDTFs？
在Unity Catalog中，UDTFs可以通过TABLE()关键字直接调用，支持跨会话和工作区的访问。
UDTFs的执行是如何确保安全的？
UDTFs在沙箱中执行，具有临时磁盘和网络访问，防止其他工作负载的干扰，确保安全性。
UDTFs在数据工程中的一个具体应用是什么？
一个具体应用是使用UDTFs进行IP地址与网络CIDR块的匹配，简化数据工程问题。
使用UDTFs有什么优势？
使用UDTFs可以在每个数据分区中仅运行一次昂贵的初始化代码，并且可以灵活处理任何数据集。
