LLM 预训练中的基于贝叶斯优化的检查点合并

通过检查点平均化方法改进大型语言模型（LLMs）的质量，缩短训练时间，提高测试和零样本泛化能力。

知识融合方法将预先训练的大型语言模型结合，以提升目标模型在推理、常识与代码生成等方面的性能。

提出两种有效方法解决多模态模型创建训练数据的问题，构建了91K的英-韩-中多语言多模态训练数据集。

研究表明大型语言模型在数据预处理中的潜力，包括错误检测、数据插补、模式匹配和实体匹配任务。

利用大型语言模型进行数据增强在跨语言常识推理数据集中的潜力，通过生成数据扩充数据集，验证了方法的有效性。

提出三种策略增强低资源语言在大型语言模型中的表现，包括扩展词汇表和使用双语数据进行预训练。

结合大型语言模型与传统自然语言处理任务，利用思维链提示技术改进较小模型在命名实体识别任务中的效率和效果。

提出一个新范式以增强大型语言模型在机器翻译任务中的翻译能力，通过多阶段训练实现显著改进。

提出Branch-Train-Merge (BTM)算法高效训练大型语言模型，能够获得更好的性能且训练成本更低。

研究大型语言模型的训练，提出基于数据选择的技术以优化模型质量和训练资源的消耗。