70B大模型训练秘方① ：数据集创建与评估
原文中文，约12600字，阅读约需30分钟。发表于：。今年6月，大模型公司Imbue预训练了一个70B参数的模型，并在多选推理基准上进行了微调。在这些基准上，Imbue微调的模型超越了GPT-4o zero-shot表现（该模型未在这些基准上进行微调）。Imbue的微调模型，基于2万亿个Token进行预训练，其性能也接近于在超过7倍数据量上预训练的Llama3 70B微调模型的性能。由于他们在没有使用思维链的情况下评估了GPT-4o zero-sho...
Imbue公司在6月预训练了一个70B参数的模型，并在多个基准测试上进行了微调。微调后的模型在多个数据集上表现优于GPT-4o zero-shot模型。他们发布了工具和数据集，帮助其他团队进行模型训练和评估。他们清洗了11个公共数据集，并创建了一个用于代码理解的数据集。开源和闭源模型在高质量问题下的准确率接近100%。他们还讨论了数据集创建和清洗过程，并与其他前沿模型进行了比较。
