BriefGPT - AI 论文速递
·
AutoRAG-HP: 检索增强生成的自动在线超参数调整
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
为了解决Retrieval-Augmented Generation中的超参数优化和在线自适应的挑战，研究者提出了AutoRAG-HP框架。该框架将超参数调整问题建模为在线多臂赌博机问题，并引入了一种高效探索大搜索空间的新型两级分层多臂赌博机方法。实验结果表明，基于MAB的在线学习方法可以在具有突出的梯度搜索空间的情况下，仅使用Grid Search方法所需的API调用的约20%，实现Recall@5约0.8的结果。在更具挑战性的优化场景中，所提出的分层多臂赌博机方法优于其他基准方法。
🎯
关键要点
- 为了解决Retrieval-Augmented Generation中的超参数优化和在线自适应的挑战，提出了AutoRAG-HP框架。
- AutoRAG-HP框架将超参数调整问题建模为在线多臂赌博机问题。
- 引入了一种高效探索大搜索空间的新型两级分层多臂赌博机方法。
- 实验使用ALCE-ASQA和Natural Questions数据集对重要超参数进行了广泛实验。
- 基于MAB的在线学习方法在具有突出的梯度搜索空间的情况下，仅使用Grid Search方法所需的API调用的约20%。
- 实现Recall@5约0.8的结果。
- 在更具挑战性的优化场景中，分层多臂赌博机方法优于其他基准方法。
➡️
