BriefGPT - AI 论文速递
·
CoTBal: 多任务视觉指令调整的综合任务平衡
💡
原文中文，约400字，阅读约需1分钟。
📝
内容提要
指令调优是改善大型语言模型对未知任务性能的方法，通过最大化语义上等效的指令实例对的相似性，最小化不同语义的实例对之间的相似性。实验证明，对比指令调优能够提升大型语言模型对未知指令的稳健性，平均准确率提高了2.5%。
🎯
关键要点
- 指令调优是一种改善大型语言模型对未知任务性能的方法。
- 当前大型语言模型在面对未知指令时表现出有限的稳健性。
- 相同指令的稍微变形或语言风格变化会导致不一致的输出。
- 大型语言模型对文本变化的稳健性和对未见指令的泛化能力存在缺陷。
- 对比指令调优通过最大化语义上等效的指令实例对的相似性，最小化不同语义的实例对之间的相似性。
- 通过改写任务指令扩充现有的 FLAN 集合以促进对比指令调优。
- 在 PromptBench 基准测试中，对比指令调优能够提升大型语言模型的稳健性，平均准确率提高了 2.5%。
➡️
