NVIDIA NeMo Switchyard是一个开源路由层，位于AI代理和模型之间，按请求智能选择模型以降低成本。教程演示了从随机路由到内容感知路由的升级，包括配置YAML、启动服务器、测试简单与复杂请求，以及基于进度或升级的路由策略。最后强调通过指标测量路由效果，优化质量与成本平衡。

Boluo是基于Tokio和Hyper开发的轻量级路由层，具备快速运行和简单路由定义的特点，支持HTTP/1.1、HTTP/2和WebSocket等功能，并提供统一的错误处理机制，用户可通过简洁的代码快速搭建服务。