大语言模型背后的原理 - arxiv
原文中文，约600字，阅读约需2分钟。发表于：。语言本质上是一个由语法规则支配的复杂、错综复杂的人类表达系统。它对开发能够理解和掌握语言的人工智能算法提出了重大挑战。 作为一种主要的方法，语言建模在过去20年里被广泛研究，用于语言理解和生成，从统计语言模型发展到神经语言模型。 ...
语言建模是研究语言理解和生成的主要方法，最近预训练语言模型（PLMs）展示了强大的能力。大语言模型（LLM）的研究得到了推进，如ChatGPT的推出引起了广泛关注。LLM的技术演进改变了开发和使用人工智能算法的方式。调查报告回顾了LLM的最新进展，包括预训练、适应性调整、利用和能力评估等方面，并总结了现有资源和讨论了未来方向。
