美团技术团队
·
OR算法+ML模型混合推理框架架构演进
💡
原文中文，约3500字，阅读约需9分钟。
📝
内容提要
调度系统通过GPU加速运筹学和机器学习算法，提升了性能和稳定性。为解决性能、稳定性和扩展性问题，采用TritonServer推理框架进行二次开发，优化计算任务调度。经过多次架构迭代，构建了高性能、可扩展的OR+ML混合推理框架，未来将支持不同GPU型号及多级缓存和分布式推理。
🎯
关键要点
- 调度系统通过GPU加速运筹学和机器学习算法，提升性能和稳定性。
- 引入TritonServer推理框架进行二次开发，优化计算任务调度。
- 面临性能、稳定性和扩展性问题，需解决CUDA Exception和显存瓶颈。
- 采用TritonServer推理框架，支持更广泛的模型和功能，便于二次开发。
- 通过进程内调用实现功能和性能突破，接入CUDA版路径规划算法。
- 跨进程调用减少故障恢复时间，从10分钟缩短至10秒。
- 跨节点调用能力突破单机算力瓶颈，优化流量路由和数据传输。
- 未来将支持不同GPU型号及多级缓存和分布式推理，提升全局性能。
❓
延伸问答
调度系统如何提升运筹学和机器学习算法的性能？
调度系统通过引入GPU加速运筹学和机器学习算法，优化计算任务调度，从而提升性能和稳定性。
TritonServer推理框架的优势是什么？
TritonServer推理框架支持更广泛的模型和功能，便于二次开发，并获得NVIDIA官方和美团内部技术支持。
如何解决CUDA Exception带来的稳定性问题？
通过缩小CUDA Exception影响半径和缩短故障恢复时间，采用跨进程调用将恢复时间从10分钟缩短至10秒。
未来的OR+ML混合推理框架将支持哪些新特性？
未来将支持不同GPU型号、多级缓存和分布式推理，以提升全局性能。
跨进程调用如何优化调度系统的性能？
跨进程调用通过共享内存技术减少数据传输开销，并实现故障隔离，显著提升了系统的性能和稳定性。
调度系统面临哪些主要问题？
主要问题包括性能、稳定性和扩展性，具体表现为任务分配不均、CUDA Exception和显存瓶颈等。
➡️
