平衡专业性和多功能性：一种用于监督微调大型语言模型的由粗到细的框架
原文约400字/词，阅读约需1分钟。发表于：。CoFiTune 是一种粗 - 细调整框架，通过使用树搜索算法和软掩码机制来解决领域专精性和多功能性之间的平衡问题，以提高模型在各种任务上的性能。与基准方法相比，CoFiTune 在整体评估中始终表现出色，并且在 13B 模型上提供了约 14% 的多功能性改进和微小的专精性损失。通过对 LLMs 中的信息传递过程进行进一步分析，我们提供了一种推测性的洞见，以解释所提出的方法的有效性。
该文章介绍了用于微调和评估大型语言模型（LLMs）在货币化任务中的方法论，包括混合数据、设计评估框架和分析模型大小和持续训练对度量指标的影响。该框架旨在为企业和研究人员提供行动洞察，以使LLMs适应专门的环境。
