级联：一种适用于延迟敏感边缘智能的平台

互动智能计算应用越来越普遍，需要优化以降低每个事件的延迟，同时保持高吞吐量和高效的资源管理。Cascade 是一个新的 AI/ML 托管平台，旨在解决这个难题。创新之处包括最小化数据拷贝的兼容传统系统的存储层和最大化响应性能的数据与计算合并的 “快速路径”。我们的评估显示，Cascade 可以将延迟降低数个数量级，同时不损失吞吐量。

机器学习在分布式计算系统中广泛应用，特别是在物联网设备产生大量数据时。长时间不重新训练机器学习模型可能导致错误预测。主动推理概念可以提供自主决策的能力，减少惊奇感。智能制造案例中实现了这些概念，解决了优化问题。