ChatGPT一周年：开源语言大模型的冲击

2022年末发布的ChatGPT在人工智能领域带来了巨大变革。尽管闭源LLM通常优于开源模型，但开源LLM的进展迅速，并在某些任务上取得了与ChatGPT相当甚至更好的表现。本文综述了开源LLM的研究，并调研了开源LLM声称已达到或超过ChatGPT水平的任务。开源LLM的发展趋势包括扩大模型规模和改进微调策略。最佳开源LLM的秘诀包括使用高质量数据进行微调和优化模型架构。开源LLM可能存在的问题包括预训练期间的数据污染和持续提升模型基本能力的困难。开源LLM的发展有助于缩小与闭源模型的差距。