本文讨论了在vllm v1连接器中实现异步kvcache加载/保存组件的复杂性，重点在于如何将计算任务与kvcache操作分离。作者分析了在调试新后端时遇到的nan问题，探讨了CUDA流的影响，并通过示例验证了不同线程对流的影响，最终意识到CONNECTOR_STREAM的创建位置对CUDA错误的影响。