我最近阅读的关于LLM应用的论文
内容提要
近期LLM研究要点：模型参数约存储3.6比特数据，存在意外记忆与泛化之分。测试时扩展计算可胜过14倍大模型，方法有best-of-N采样和修订回答。强化学习通过提高温度、解耦裁剪、动态采样及DAPO提升探索。推理模型在简单题上可能过度思考，表现反不如普通模型。Gemini 2.5强调数据质量、可验证奖励与模型奖励结合，并改进学习率以稳定训练。
延伸解读
模型记忆与泛化的量化视角
文章指出，LLM参数平均存储约3.6比特数据，且存在意外记忆与泛化之分。通过信息熵和互信息计算，可观察到从意外记忆到泛化的双下降现象。这提示我们，模型容量与数据压缩之间存在权衡，而float32比float16多存储约9%的信息，可能影响记忆与泛化的平衡。
测试时计算扩展的潜力与局限
测试时扩展计算可让模型表现超越14倍参数量的模型，尤其在简单和中等难度问题上。方法包括best-of-N采样和修订回答。但文章也指出，推理模型在简单题上可能过度思考，表现反不如普通模型，而在困难问题上甚至零表现。因此，扩展计算并非万能，需根据问题难度动态调整。
强化学习中的探索与稳定训练
为提升探索，文章提到提高温度、解耦裁剪、动态采样及DAPO等方法，并将损失计算从样本级细化到token级。同时，KL正则化和参考模型重置有助于稳定训练。Gemini 2.5技术报告则强调数据质量、可验证奖励与模型奖励结合，并改进学习率以提升训练稳定性。这些技术共同指向更高效、稳定的RL训练。
Q&A
LLM 模型参数中存储了多少数据？
GPT 模型每个参数大约存储 3.6 比特的数据。
测试时扩展计算如何超越更大模型？
通过增加推理时的计算量（如 best-of-N 采样或修订回答），性能可以超过参数量大 14 倍的模型。
强化学习中如何提升探索？
通过提高温度、解耦裁剪、动态采样以及 DAPO 方法（从样本级到 token 级计算损失）来提升探索。
推理模型在简单问题上表现如何？
推理模型在简单问题上可能过度思考，导致表现反而不如普通模型。
Gemini 2.5 在训练中采用了哪些改进？
Gemini 2.5 强调数据质量（过滤和去重），结合可验证奖励和模型生成奖励，并改进学习率方法以稳定训练。
LLM 的意外记忆和泛化有什么区别？
意外记忆指记住特定数据集，泛化（有意记忆）则包含真实数据生成过程，可通过信息熵和互信息计算区分。
