Spice.ai是一个开源加速引擎，专为时间序列和结构化数据设计，支持低延迟在线推理，适用于实时监控和预测维护等应用，提供快速SQL查询、全文搜索和LLM集成。

vLLM生产栈是一个参考系统，旨在提供Kubernetes原生集群的部署和性能优化。它结合了容器编排、调度策略、GPU资源管理和监控，支持在线推理、批处理和并发模型服务。

亚马逊云科技将于2025年1月推出DeepSeek系列大模型，用户可通过多种方式部署DeepSeek-R1模型。该模型可在自研芯片Inferentia2上高效运行，支持Docker容器和在线推理，服务覆盖多个地区，具备价格优势，满足全球客户需求。