阿里云 ACK One Serverless Argo 助力深势科技构建高效任务平台
内容提要
深势科技使用人工智能和多尺度模拟算法构建了机器学习任务平台,但存在弹性、运维、稳定性和安全等问题。为解决这些问题,他们采用了全托管Serverless Argo工作流,提供高弹性、无需运维、集群高可靠和安全的特点。迁移后,深势科技的业务模板无需修改,运维成本降低,系统性能提升。未来,Serverless Argo将继续增强弹性和稳定性,支持大规模数据处理和自动化改造。
延伸解读
从自建到全托管:运维负担的转移
深势科技原平台基于开源 Argo 构建,需专业团队定位问题,且按业务分集群加剧运维困难。迁移至全托管 Serverless Argo 后,多个分散集群整合为统一集群,运维成本显著降低。这体现了托管服务将底层集群管理、参数调优和故障排查转移给云厂商,使机器学习工程师无需感知底层架构,更专注于业务逻辑。
兼容性决定迁移效率
文章强调 Serverless Argo 完全兼容开源 Argo Workflows,因此深势科技原有业务模板无需修改,一周内完成整体迁移。对于已基于开源 Argo 构建工作流平台的团队,这种兼容性可大幅降低迁移成本和风险,避免重写工作流定义,是评估托管服务时值得关注的指标。
弹性与成本优化的具体机制
针对高峰期万节点需求和跨系统调用时的空闲 Pod 浪费,Serverless Argo 结合大规模 Serverless Pod 与跨地域算力调度,并增强开源 Argo 的 Suspend 机制以减少资源空转。同时配合抢占式 ECI 实例优化成本。这些机制直接回应了深势科技弹性不足和资源浪费的痛点,但实际效果取决于业务负载特征。
安全与可靠性的增强点
Serverless Argo 通过 RAM 账号 SSO 登录和 Namespace 级隔离提供精细化权限控制,降低集群安全风险;并对管控面进行 Workflow 类型任务的参数调优和无效资源定期清理,提升集群长期稳定性。相比开源版,还增加任务失败原因自动感知与重试、DAG 逻辑优化等,提高工作流成功率和可观测性。
Q&A
深势科技为什么需要构建机器学习任务平台?
深势科技致力于运用人工智能和多尺度模拟仿真算法解决科学问题,每天需要进行大量仿真计算和实验,对应数以万计的任务需要运行,因此构建了机器学习任务平台来实现任务开发训练的自动化提交运行。
深势科技原有的任务平台遇到了哪些主要问题?
主要痛点包括:1)无法高效弹性,高峰期资源供给不足,空闲Pod导致资源浪费;2)运维困难,问题定位耗时数小时,多集群加剧运维难度;3)稳定性低,管控面压力大导致集群不可用,任务重试机制不完善;4)安全风险,权限控制困难,无法做到用户级别控制。
阿里云 ACK One Serverless Argo 是什么?它有哪些核心增强功能?
ACK One Serverless Argo 是阿里云提供的无服务器模式的分布式工作流 Argo 集群功能,托管了开源 Argo Workflows 并完全兼容社区标准。核心增强包括:跨地域高弹性、开箱即用免运维、集群高可靠、精细化权限控制,以及事件驱动、数据访问加速和社区版差异化能力。
Serverless Argo 如何解决深势科技在弹性和运维方面的痛点?
在弹性方面,Serverless Argo 结合大规模 Serverless Pod 和跨地域算力调度,高峰期可调度数十万弹性资源,并增强 Argo Suspend 机制减少资源空转。在运维方面,它开箱即用,5分钟即可获得稳定高性能的工作流引擎,无需感知底层架构,且对管控面进行参数调优和定期清理,保证集群长期稳定。
深势科技迁移到 Serverless Argo 后取得了哪些成果?
迁移后,业务模板无需修改,一周内完成整体迁移;原本分散的多个集群整合为一个高效统一的集群,运维成本显著降低,管理流程简化,系统整体性能提升。用户对超大工作流拉起速度的提升表示高度赞赏。
Serverless Argo 相比开源 Argo Workflows 有哪些差异化优势?
除了稳定性和可靠性保障,Serverless Argo 还提供:自动化感知任务失败原因并重试和自适应扩容;工作流 DAG FailFast、Continue On 逻辑优化和 UpdateAPI 增强;端到端成本/资源观测和 Inputs/Outputs Artifacts UI 可观测;支持超大输入参数和更扁平(2000+Step)工作流。
Serverless Argo 未来有哪些发展规划?
未来,ACK One Serverless Argo 会继续在弹性、稳定性等方面进行增强,更好地支持大规模数据处理的运行;在 CI/CD、自动化方面也会适配更多场景,驱动基础设施的自动化改造。