使用 DLRover 托管作业进行弹性、容错训练
原文中文，约14200字，阅读约需34分钟。发表于：。1. 分布式训练面临的问题 预估训练资源困难，无法自动化 需要多少算力、需要多少时间、需要多少带宽、需要多少 CPU、需要多少内存，如果没有足够的积累，很难估算准确。导致的结果就是，超额申请、超额分配，造成极大的资源浪费。 需要去沉淀和提供解决方案。 故
DLRover是一个解决分布式训练问题的组件，包括Brain Service、Elastic Controller、DLRover Master和Elastic Agent等。DLRover具有故障自动恢复的能力，可以自动拉起新的worker节点继续训练。然而，DLRover还存在一些问题，如master挂了训练会停止、ElasticJob对象缺失字段时无法创建worker等。项目完成度可能不高，需要进一步完善。
