基于预测的云资源弹性伸缩框架 MagicScaler,实现“高QoS,低成本”双丰收
💡
原文中文,约2500字,阅读约需6分钟。
📝
内容提要
阿里云计算平台的大数据基础工程技术团队与其他合作伙伴共同开发了一种基于预测的云资源弹性伸缩框架MagicScaler,该框架在成本和QoS方面优于其他经典的弹性伸缩算法。MagicScaler包含一个基于多尺度注意力高斯过程的预测模型和一个考虑需求不确定性的弹性伸缩优化决策器。该框架将与阿里云的MaxCompute调度策略结合应用。
🎯
关键要点
- 阿里云计算平台与合作伙伴共同开发了基于预测的云资源弹性伸缩框架MagicScaler。
- MagicScaler框架包含多尺度注意力高斯过程的预测模型和考虑需求不确定性的弹性伸缩优化决策器。
- 该框架在成本和QoS方面显著优于其他经典的弹性伸缩算法。
- 云计算需求的增长使得合理的云资源分配成为保障稳定性和控制成本的重要因素。
- 现有的自动扩缩框架未能充分考虑需求的不确定性和业务属性,难以应用于阿里云的弹性伸缩场景。
- MagicScaler通过多尺度注意力机制和随机过程回归实现精确的需求预测。
- 调度器部分将业务场景建模为马尔可夫决策过程,以实现资源成本与QoS之间的平衡。
- 论文在阿里云的真实数据集上进行了实验,结果显示MagicScaler优于其他算法。
- 后续将研究如何将MagicScaler与MaxCompute现有调度策略结合。
➡️