我们如何为Cloudflare的网络构建最高效的推理引擎

Cloudflare开发的Infire是一款高效的LLM推理引擎，旨在优化GPU利用率和降低CPU负载。

Infire通过动态调度和连续批处理技术提升推理速度，支持更多请求，并满足安全需求。

与传统的vLLM相比，Infire在资源使用上更具优势，能够在边缘节点更有效地运行推理任务。

Infire使用Rust编写，能够最大化内存、网络I/O和GPU利用率，节省时间、资源和能源。

Infire在初步基准测试中显示出比vLLM快7%的推理速度，尤其在实际负载下表现更佳。

Infire的架构包括一个兼容OpenAI的HTTP服务器、一个批处理器和Infire引擎本身。

Infire通过并行处理多个请求来优化批处理，利用内存带宽和缓存。

Infire采用了预填充和批处理技术，允许在GPU上进行更大的矩阵乘法操作。

Infire的CUDA内核针对特定硬件进行了优化，利用低级PTX指令和高性能库。

基准测试显示，Infire在CPU使用率上显著低于vLLM，GPU利用率超过80%。

未来版本的Infire将支持多GPU、量化功能和真正的多租户支持，以进一步提升性能。