我们提出了高效路由器模型，通过动态选择语言模型实现成本和响应质量的平衡。通过人类偏好数据和数据增强技术，我们开发了训练框架提高性能。评估结果显示，我们的方法显著降低成本，且不影响响应质量。路由器模型展示了迁移学习能力，保持性能。这为部署大型语言模型提供了成本效益和高性能的解决方案。

通过利用大型语言模型（LLMs）从外部知识源获取相关信息，检索增强生成技术使LLMs适应特定领域并减少虚假数据。提出了一种名为ARL2的检索器学习技术，通过利用LLMs进行标注和评分，实现了从强大LLM监督中学习检索器，并使用自适应自训练策略筛选高质量和多样性的相关数据，降低了标注成本。实验证实了ARL2的有效性，在NQ上提高了5.4％，在MMLU上提高了4.6％，并展现了强大的迁移学习能力和零射击泛化能力。