数禾科技采用阿里云ASK部署线上模型,解决了模型在线推理服务数量增加导致的资源浪费和维护升级成本高的问题。ASK提供免运维、自动弹性、按需付费等优势,支持多版本管理、镜像加速,助力模型快速发布迭代。通过ASK+Knative解决Stable Diffusion的单个Pod处理请求的吞吐率有限和GPU资源按需使用的问题,实现基于并发精准弹性,缩容到0,资源按需使用,打造生产可用的Stable Diffusion服务。ASK提供了可观测能力,监控数据包括请求量、请求成功率、响应延迟等。
完成下面两步后,将自动完成登录并继续当前操作。