模块化：如果AI服务技术无法解决当今的问题，我们如何扩展到未来？

生产AI服务面临多重挑战，包括整合多个机器学习框架、细节泄露、单体化性质、可靠性和成本管理等。

整合多个机器学习框架（如TensorFlow、PyTorch等）带来了复杂性，通常需要提供统一系统以满足研究团队的需求。

简化的系统可能隐藏性能瓶颈，随着应用成功，可能需要重写更复杂的系统以满足扩展需求。

在云环境中，多个应用共享资源，模型的计算和内存需求各不相同，增加了开发和管理的复杂性。

大型AI模型的规模和可靠性问题日益突出，现有的分布式系统在云环境中常常缺乏容错能力。

AI应用的性能不仅仅取决于QPS、吞吐量或延迟，还需要与运营团队的成本管理相结合。

现有服务基础设施缺乏系统级性能可观察性和综合的诊断视图，难以识别瓶颈和优化成本与性能。