Cloudflare如何在微秒内运行机器学习推理

Cloudflare使用Rust重写机器人管理技术，以减少处理延迟。

通过固定大小的缓冲区和原地操作算法减少内存分配。

自动测试内存分配以防止意外使用分配内存的函数或库。

优化CatBoost逐个评估特征，将P50延迟从388us降至309us（20%），P99延迟从940us降至813us（14%）。

在请求处理的热路径中执行机器人管理模块的安全检查。

重写机器人管理技术，减少垃圾回收语言带来的性能损失。

使用固定大小的缓冲区和栈分配来减少内存分配。

选择在数据上原地操作的算法以减少内存分配。

使用dhat库进行内存分配的自动测试，确保关键路径上零分配。

CatBoost优化以支持单文档评估，减少内存分配和延迟。

通过重用缓冲区和避免不必要的内存分配，优化模型执行。

最终优化使P50延迟减少20%，P99延迟减少14%。