Cloudflare如何在微秒内运行机器学习推理

Cloudflare使用Rust重写其机器人管理技术，以减少处理延迟。通过使用固定大小的缓冲区和选择在数据上原地操作的算法来减少内存分配，同时自动测试内存分配以防止意外使用分配内存的函数或库。通过优化CatBoost以逐个评估一组特征，Cloudflare将P50延迟从388us降至309us（20％），将P99延迟从940us降至813us（14％）。