数禾科技为金融机构提供智能零售金融解决方案,重构数据处理链路,采用阿里云函数计算实现高可用、易升级、低维护的解决方案。函数计算通过Kafka触发器和定时触发器,提供开发效率、弹性、升级部署、费用成本等优势。数禾运维团队希望进一步优化异步调用和文件锁的处理,扩展函数计算方案。
数禾科技采用阿里云ASK部署线上模型,解决了模型在线推理服务数量增加导致的资源浪费和维护升级成本高的问题。ASK提供免运维、自动弹性、按需付费等优势,支持多版本管理、镜像加速,助力模型快速发布迭代。通过ASK+Knative解决Stable Diffusion的单个Pod处理请求的吞吐率有限和GPU资源按需使用的问题,实现基于并发精准弹性,缩容到0,资源按需使用,打造生产可用的Stable Diffusion服务。ASK提供了可观测能力,监控数据包括请求量、请求成功率、响应延迟等。
完成下面两步后,将自动完成登录并继续当前操作。