2023 年的 PySpark：年度回顾
原文英文，约1000词，阅读约需4分钟。
📝
内容提要
Apache Spark 3.4 和 3.5 于 2023 年发布，为 PySpark 的性能、灵活性和易用性带来了显著提升。主要增强功能包括 Spark Connect、Arrow 优化的 Python UDFs、Python UDTFs、新的 SQL 功能、Python 任意状态处理、TorchDistributor 和测试 API。此外，还有英语 SDK 和其他改进。这些功能在 Databricks Runtime 13 和 14 中可用。
❓
Q&A
2023年PySpark有哪些主要的新功能？
2023年PySpark的主要新功能包括Spark Connect、Arrow优化的Python UDFs、Python UDTFs、新的SQL功能、Python任意状态处理、TorchDistributor和测试API等。
Spark Connect的作用是什么？
Spark Connect引入了客户端-服务器架构，支持从任何应用程序远程连接Spark集群，提高了稳定性和可观察性。
Arrow优化的Python UDFs如何提高性能？
Arrow优化的Python UDFs通过利用Arrow列式格式，使得在同一集群中链式调用时执行速度比传统的Python UDFs快约1.9倍。
Python UDTFs有什么新特性？
Python UDTFs允许用户定义表函数，返回表格而非单一标量结果，可以在SQL查询的FROM子句中使用。
新的SQL功能包括哪些内容？
新的SQL功能包括GROUP BY ALL、ORDER BY ALL、INSERT BY NAME、PIVOT和MELT等，增强了PySpark与Spark SQL的兼容性。
TorchDistributor如何支持深度学习模型的训练？
TorchDistributor为PyTorch提供原生支持，简化了在Spark集群上进行深度学习模型的分布式训练。
🏷️
