70B大模型训练秘方① ：数据集创建与评估
内容提要
Imbue公司在6月预训练了一个70B参数的模型，并在多个基准测试上进行了微调。微调后的模型在多个数据集上表现优于GPT-4o zero-shot模型。他们发布了工具和数据集，帮助其他团队进行模型训练和评估。他们清洗了11个公共数据集，并创建了一个用于代码理解的数据集。开源和闭源模型在高质量问题下的准确率接近100%。他们还讨论了数据集创建和清洗过程，并与其他前沿模型进行了比较。
延伸解读
评估数据质量决定模型比较的公平性
Imbue团队发现，公开多选数据集普遍存在措辞混乱、标注错误等问题，导致模型评估结果失真。他们清洗了11个数据集，并创建私有版本以避免数据污染。在高质量问题上，所有前沿模型准确率接近100%，说明低质量问题会扭曲模型间的性能差异。这提醒研究者在比较模型时，必须优先确保评估数据的质量，否则结论可能反映的是模型匹配人类模糊答案的能力，而非推理能力。
微调在特定任务上可超越零样本大模型
Imbue的70B模型经过微调后，在多个基准上优于GPT-4o的零样本表现，尤其在ANLI和ETHICS等涉及主观边界的数据集上。这是因为微调让模型学会了任务特定的决策边界，而零样本闭源模型难以通过提示达到同样效果。不过，GPT-4o在ARC等知识密集型任务上仍占优，反映其训练数据中科学事实更多。这表明微调能有效提升特定能力，但通用知识记忆仍依赖预训练数据规模。
私有数据集揭示分布变化对性能的影响
Imbue创建的私有评估数据集在多数任务上与公开版本结果相似，但MultiRC和HellaSwag例外。HellaSwag私有版从更广泛的网络抓取段落，改变了原文风格；MultiRC私有版限制了候选答案数量。这些分布变化导致在公开集上微调的模型性能下降。这说明评估数据集的构建方式会显著影响模型排名，研究者需注意数据集分布与真实应用场景的匹配度。
代码理解数据集的设计思路与局限
Imbue发布的CodeComprehension数据集要求模型预测代码片段的输出，备选答案通过引入常见执行错误生成。人类准确率接近100%，但闭源模型仅70%-75%，而微调后的模型接近完美。这突显了微调对程序化生成结构的捕捉能力。不过，该数据集仅测试简单、程序生成的代码，作者也承认其不保证代码生成能力，未来将推出更贴近真实代码的挑战性数据集。
Q&A
Imbue公司的70B模型在微调后表现如何？
微调后的70B模型在多个数据集上表现优于GPT-4o zero-shot模型。
Imbue公司是如何创建和清洗数据集的？
Imbue公司清洗了11个公共数据集，并创建了私有版本，以确保数据质量和避免污染。
Imbue发布了哪些工具和数据集以帮助模型训练？
Imbue发布了高质量的评估数据集、用于识别问题质量的工具和CodeComprehension数据集。
为什么低质量问题会影响模型评估结果？
低质量问题会导致评估结果扭曲，影响模型的推理能力评估。
Imbue的CodeComprehension数据集有什么特点？
CodeComprehension数据集帮助提升模型在代码相关推理上的表现，包含合理备选答案的挑战性问题。
Imbue如何确保评估问题的高质量？
Imbue通过人工标注和质量检查，确保评估问题清晰、无歧义且只有一个正确答案。
