Apache Spark 3.4 中的 Spark Connect 正式发布
原文英文,约1400词,阅读约需5分钟。发表于: 。Last year Spark Connect was introduced at the Data and AI Summit. As part of the recently released Apache SparkTM 3.4, Spark Connect...
Apache SparkTM 3.4发布了Spark Connect,允许用户直接连接IDE、笔记本和现代数据应用程序到Spark集群。Spark Connect引入了解耦的客户端-服务器架构,使任何应用程序都能远程连接到Spark集群。它提高了稳定性、升级、调试和可观察性。Spark Connect客户端库旨在简化Spark应用程序开发。它是一个可以嵌入到任何地方的轻量级API。Databricks Connect现在基于开源Spark Connect构建。Spark Connect支持大多数PySpark和Scala API。流支持即将推出。Spark Connect使访问Spark变得无处不在。