DEV Community
·
Spark 2.4.8 动态分配问题（可能与外部 Shuffle 服务有关？）
💡
原文英文，约3800词，阅读约需14分钟。
📝
内容提要
作者在使用Spark 2.4.8时遇到动态分配问题，怀疑与外部Shuffle服务有关。尽管配置正确，作业仍卡在初始任务。日志显示应用状态从FINISHING变为FINISHED，但未获得资源，可能是因为工作节点未注册或资源不足。作者希望解决此问题以正常使用动态分配。
🎯
关键要点
-
作者在使用Spark 2.4.8时遇到动态分配问题，怀疑与外部Shuffle服务有关。
-
尽管配置正确，作业仍卡在初始任务，日志显示应用状态从FINISHING变为FINISHED，但未获得资源。
-
可能原因是工作节点未注册或资源不足，作者希望解决此问题以正常使用动态分配。
-
作者提供了Yarn和Spark的相关配置，确认必要的jar文件在所有节点上都存在。
-
在提交Spark作业时，作业卡在初始任务，日志显示初始作业未接受任何资源。
-
检查Yarn UI，发现只有驱动节点显示，没有工作节点被分配。
-
外部Shuffle服务似乎在每个节点管理器主机上正确初始化。
-
在动态分配启用的Spark作业活动期间，资源管理器日志显示应用状态变化，但未能成功分配资源。
➡️
