LLM论文阅读
内容提要
本文探讨了大语言模型（LLM）的最新研究进展，包括模型性能与规模、数据量和计算量的关系，以及涌现能力的定义。介绍了前缀调整和低秩适应等微调技术，强调了量化和数据处理的重要性，以提高模型的效率和性能，并提到了一些数据预处理策略，以确保训练数据的质量。
延伸解读
缩放定律的两种视角：KM与Chinchilla
文章介绍了两种缩放定律：KM缩放定律首次提出模型性能与模型大小、数据量和计算量的幂律关系；Chinchilla缩放定律则给出了计算预算下模型大小与数据量的最优分配。两者都强调性能与三要素强依赖，但Chinchilla更侧重于计算优化训练，为资源分配提供了具体指导。
涌现能力：规模带来的质变
涌现能力被定义为小型模型中不存在、大型模型中出现的能力，其显著特征是当规模达到一定程度时，性能明显高于随机水平。文章列举了三种典型涌现能力：上下文学习、指令遵循和逐步推理，并指出这些能力使LLM区别于以往预训练模型，成为通用学习者。
参数高效微调：Prefix Tuning与LoRA
Prefix Tuning在每层Transformer前添加可训练连续向量，仅优化0.1%参数即可达到全数据微调性能，低数据下更优。LoRA则冻结预训练权重，注入低秩分解矩阵，大幅减少下游任务可训练参数。两者都旨在降低微调成本，但Prefix Tuning侧重输入前缀，LoRA侧重权重更新。
量化技术：平衡效率与精度
量化将浮点数转换为整数，降低存储和计算开销。主要分为PTQ和QAT，PTQ无需训练，计算成本低，更受青睐。文章详细介绍了线性量化、对称与非对称模式、不同粒度（per tensor/channel/group）以及权重打包，并给出代码示例，帮助读者理解量化误差和实现细节。
Q&A
大语言模型的性能与哪些因素有关？
大语言模型的性能与模型规模、数据量和计算量之间存在强依赖关系。
什么是涌现能力？
涌现能力是指在小型模型中不存在而在大型模型中出现的能力，表现为当规模达到一定程度时，性能明显高于随机水平。
前缀调整技术的主要作用是什么？
前缀调整技术是一种轻量级的微调方法，通过优化特定任务的前缀向量来提高模型性能。
低秩适应（LoRA）技术的优势是什么？
低秩适应技术通过冻结预训练模型权重并注入可训练的低秩矩阵，减少了下游任务的可训练参数数量，从而降低了微调成本。
量化技术如何影响深度学习模型的性能？
量化技术可以显著降低深度学习模型的存储和计算开销，主要分为PTQ和QAT两种方法，能够在保持精度的同时实现模型压缩。
数据预处理策略有哪些？
数据预处理策略包括去除低质量数据、重复数据删除和隐私信息移除，以确保训练数据的质量。
