大模型推理中的路由问题促使稀疏注意力机制的出现。路由的挑战在于平衡负载均衡与缓存感知，避免资源浪费。稀疏注意力通过减少KV块数量来缓解这一问题，但仍面临决策困难。Goodfire的研究提出了通过“知识指针”解决路由问题的新思路。总体而言，路由问题是分布式系统中的长期挑战。

Modular Cloud正在解决大语言模型（LLM）推理中的路由问题。传统负载均衡方法不适用于LLM，因为需要考虑状态、硬件特性和会话连续性。新的路由层能够根据缓存状态和硬件优化请求处理，支持多步骤执行，从而提升响应速度和效率。