PySpark UDF统一性能分析
We are excited to release Unified Profiling for PySpark User-Defined Functions (UDFs) as part of Databricks Runtime 17.0 (release notes). Unified Profiling for PySpark UDFs
Databricks Runtime 17.0推出了统一的PySpark用户定义函数性能分析功能,帮助开发者跟踪函数调用、执行时间和内存使用,识别瓶颈以提升UDF性能。该分析基于SparkSession,支持Spark Connect,并提供可视化和管理API,增强了对注册UDF的支持。
