Finisky Garden
·
LIMA: Less Is More for Alignment 简读
原文中文，约2100字，阅读约需5分钟。
📝
内容提要
LIMA是一篇网红文，用SFT方案训练了一个模型，证实了表面对齐假设。该模型只用了1000条指令微调数据，但效果超过了使用52000条数据的Alpaca模型。LIMA验证了绝大部分的知识是在预训练阶段习得的，一定程度上也说明了有效的SFT甚至可以超越RLHF的结果。
🎯
关键要点
-
LIMA是一篇网红文，使用SFT方案训练模型，验证表面对齐假设。
-
该模型仅使用1000条指令微调数据，效果超过52000条数据的Alpaca模型。
-
LIMA证明大部分知识在预训练阶段习得，显示有效的SFT可超越RLHF结果。
-
LIMA的核心在于构建1000条多样性的指令数据，确保回复风格一致。
-
数据来源包括Stack Exchange、wikiHow和Pushshift Reddit，采用自动挖掘和手动改写相结合的方法。
-
Stack Exchange数据通过采样不同领域的问题和答案，过滤不合适的回复。
-
wikiHow数据通过采样高质量文章，确保多样性和一致性。
-
Reddit数据主要从r/AskReddit和r/WritingPrompts中选择高赞帖子，手动筛选。
-
作者手动编写示例以增加数据多样性，并从Natural Instruction数据集中选择任务。
-
LIMA模型基于LLaMa 65B进行微调，采用标准训练流程。
-
模型效果通过人工评估与OpenAI的DaVinci003和Alpaca模型比较，LIMA表现优越。
-
尽管BARD、Claude和GPT-4总体超越LIMA，但LIMA在许多情况下输出更好回复。
-
LIMA展示了高质量数据的重要性，但构建高质量数据集耗时耗力，难以扩展。
-
LIMA仍处于实验阶段，存在产生较差结果的可能性。
🏷️
