亚马逊AWS官方博客
·
STOmics 系列 2 – Cromwell 和 Volcano 集成技术详解
💡
原文中文，约38300字，阅读约需91分钟。
📝
内容提要
Cromwell是一个流行的开源工具，用于管理和执行基于工作流的数据分析任务。它支持多种计算环境，包括本地计算机、云计算和高性能计算集群。Volcano是基于Kubernetes的容器批量计算平台，主要用于高性能计算场景。本文介绍了如何将Cromwell和Volcano集成，并演示了如何使用Cromwell在Amazon EKS上运行GATK4 HaplotypeCaller的生信流程。
🎯
关键要点
- Cromwell是一个流行的开源工具，用于管理和执行基于工作流的数据分析任务，支持多种计算环境。
- Volcano是基于Kubernetes的容器批量计算平台，主要用于高性能计算场景。
- Cromwell和Volcano的集成可以在Amazon EKS上运行生信流程，如GATK4 HaplotypeCaller。
- 安装Volcano需要在Amazon EKS集群上运行特定命令，并验证安装成功。
- Cromwell的安装依赖于Java 11环境，并可以通过配置Backends与Volcano集成。
- 在集成过程中，需创建Volcano Queue队列，并配置Cromwell的backend文件。
- 测试Cromwell与Volcano的集成时，可能会遇到错误，需要根据错误日志进行调试。
- 通过创建yaml文件模板，可以解决Cromwell与Volcano集成中的问题。
- 在Amazon EKS上运行HaplotypeCaller需要下载输入数据并定义工作流和输入文件。
- 本文提供了详细的步骤和命令，帮助用户在Amazon EKS上搭建容器化HPC集群并运行生信流程。
➡️
