EMR Serverless——通过独立部署 Spark History Server 实现对 Spark Logs 统一管理和使用
原文中文,约6300字,阅读约需15分钟。发表于: 。此篇文章将介绍通过以独自部署 Spark History Server 的方式,同时企业还可以基于自身实际需求,将 Spark History Server 管理和运营按组织/业务/项目/阶段/Application 进行划分,实现对 Spark Log 统⼀管理和查询。
Amazon EMR是云上托管的Apache Hadoop大数据处理平台,AWS推出了EMR Serverless版本,简化使用,提升可靠性,获得更优成本效益。EMR Serverless提供Spark和Hive两种运行环境,使用Spark UI进行debug和troubleshooting。文章介绍了独立部署Spark History Server的方式,解决了使用者必须使用AWS User账号登录的不便性,并提升了管理和使用体验。企业可以根据需求选择合适的Spark History Server使用和管理方式。