亚马逊工程师严选，超 40 篇 LLM 论文汇总
内容提要
2023年，亚马逊工程师等人建立了一个语言模型论文阅读清单，汇总了40余篇高质量论文，涵盖了各种语言模型的应用和改进，对大语言模型的发展具有重要意义。
延伸解读
从架构到对齐：清单覆盖大模型关键脉络
这份清单并非简单罗列，而是沿着大语言模型的技术演进展开：从Transformer奠定基础，到GPT、BERT开启预训练范式，再到GPT-3展示少样本能力，以及Chinchilla、LLaMA探索缩放与效率。同时涵盖InstructGPT、LoRA、QLoRA等对齐与微调方法，以及RAG、RETRO等检索增强方向。读者可借此快速把握从模型架构到应用落地的核心节点。
效率与规模并重：微调与推理优化成焦点
清单中多篇论文聚焦于降低大模型的使用门槛。LoRA通过低秩适配将可训练参数减少万倍，QLoRA进一步在单张48GB GPU上微调65B模型，FlashAttention优化注意力计算的内存效率，Chinchilla则验证了模型大小与数据量应成比例增加。这些工作共同指向一个趋势：在追求性能的同时，计算效率和资源消耗正成为研究的关键考量。
检索增强与安全对齐：应用落地的两大支柱
RAG、RETRO、HyDE等论文探索了如何结合外部知识提升生成质量，而Llama Guard、Constitutional AI、DPO则关注模型输出与人类意图的对齐及安全性。清单将这两类研究并列，反映出大语言模型从实验室走向实际应用时，知识准确性与行为可控性缺一不可。读者可从中了解当前提升模型可靠性的主要技术路径。
清单的局限与使用建议
该清单由亚马逊工程师Eugene Yan等人维护，汇总了40余篇论文，但文章仅提供每篇的简要介绍和原文链接，未对论文进行深入评述或横向对比。清单更新至2024年初，后续新研究可能未被收录。建议读者将其作为检索入口，根据自身需求选择精读原文，而非替代系统性学习。
Q&A
亚马逊工程师整理的LLM论文清单包含哪些内容？
该清单由亚马逊工程师Eugene Yan等人建立，汇总了40余篇高质量论文，涵盖大语言模型的应用和改进，并持续分享前沿论文。
Transformer架构的核心创新是什么？
Transformer完全基于attention机制，省去了递归和卷积，在机器翻译任务上质量更优、可并行化程度更高，训练时间大大减少。
BERT模型的主要特点是什么？
BERT通过在所有层中综合考虑上下文来预训练深度双向表征，只需增加一个输出层即可微调，在11项NLP任务上取得了大幅提升。
GPT-3在少样本学习方面表现如何？
GPT-3在少样本场景下无需梯度更新或微调，在翻译、问答等多项NLP任务上表现良好，并能生成难以区分的新闻文章。
Chinchilla模型验证了什么缩放规律？
Chinchilla验证了模型大小和训练tokens数量应成比例增加，使用与Gopher相同算力但参数70亿、数据量增加4倍，性能显著优于多个大模型。
LoRA方法如何减少微调参数？
LoRA冻结预训练模型权重，将可训练的秩分解矩阵注入Transformer每一层，与GPT-3 175B微调相比，可训练参数减少1万倍，GPU内存需求减少3倍。
RAG模型如何提升语言生成质量？
RAG结合预训练的参数存储器和非参数存储器（维基百科的致密向量索引），生成的语言比纯参数seq2seq基线更具体、多样和真实。
FlashAttention算法有什么优势？
FlashAttention是一种IO感知的精确Attention算法，使用平铺减少GPU HBM和SRAM之间的内存读写，实现了更长的上下文和更高质量的模型。
