2023 年的 PySpark：年度回顾
原文英文，约1000词，阅读约需4分钟。发表于：。With the releases of Apache Spark 3.4 and 3.5 in 2023, we focused heavily on improving PySpark performance, flexibility, and ease of use...
Apache Spark 3.4 和 3.5 于 2023 年发布，为 PySpark 的性能、灵活性和易用性带来了显著提升。主要增强功能包括 Spark Connect、Arrow 优化的 Python UDFs、Python UDTFs、新的 SQL 功能、Python 任意状态处理、TorchDistributor 和测试 API。此外，还有英语 SDK 和其他改进。这些功能在 Databricks Runtime 13 和 14 中可用。
