Imbue公司成功训练了一个70B参数的语言模型，并分享了数据集创建、评估和基础设施设置的经验。他们开发了超参数优化器CARBS，帮助研究者在小规模实验中找到最佳超参数，以便扩展到大规模模型。通过大量实验，Imbue团队优化了模型性能，确保训练过程的稳定性。