亚马逊AWS官方博客
·
引入作业队列，扩展您的 Amazon Glue 工作负载
💡
原文中文，约2300字，阅读约需6分钟。
📝
内容提要
Amazon Glue 新增作业队列功能，提升数据集成作业的可扩展性和成功率。该功能自动管理并发作业，避免因配额限制导致的失败，简化操作流程，适用于多个数据源的并行处理。
🎯
关键要点
- Amazon Glue 新增作业队列功能，提升数据集成作业的可扩展性和成功率。
- 作业队列自动管理并发作业，避免因配额限制导致的失败。
- 作业队列适用于多个数据源的并行处理，简化操作流程。
- 亚马逊账户有配额限制，可能导致作业失败。
- 作业队列在达到并发限制时，将作业放入队列并自动重试。
- 用户可在 Amazon Glue Studio 控制台中启用作业队列。
- 作业队列提高作业运行的成功率，但不能保证成功。
- 启用作业队列后，无法配置同一作业的参数 MaxRetries。
- 不支持 Amazon Glue Flex 作业。
🏷️
标签
➡️
