本研究分析了大规模语言模型在CPU-GPU耦合架构下的推理特征，结果显示紧耦合系统在大批量处理时性能优于松耦合系统，但在小批量时受限于CPU。内核融合技术能够缓解低批量的延迟瓶颈。
近似最近邻搜索（ANNS）是一种用于高维向量检索的技术，广泛应用于搜索引擎和推荐系统。香港中文大学等提出的PilotANN通过混合CPU-GPU系统优化了向量搜索，显著提升了吞吐量和成本效益，适合大规模数据集。
完成下面两步后，将自动完成登录并继续当前操作。
