BriefGPT - AI 论文速递
·
Improving Influence-based Instruction Tuning Data Selection for Balanced Learning of Diverse Capabilities
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
本研究提出BIDS算法，解决大型语言模型在指令微调中训练数据选择不平衡的问题。该算法通过规范化影响分数，迭代选择最具影响力的训练实例，从而提升不同任务间的性能平衡。实验结果表明，BIDS在多个基准测试中优于现有方法，增强了多样化能力的学习。
🎯
关键要点
-
本研究提出BIDS算法，解决大型语言模型在指令微调中训练数据选择不平衡的问题。
-
BIDS算法通过规范化影响分数，迭代选择最具影响力的训练实例。
-
该算法旨在提升不同任务间的性能平衡。
-
实验结果表明，BIDS在多个基准测试中优于现有方法。
-
BIDS算法增强了多样化能力的学习。
➡️
