本文深入剖析BERT架构的机制与证据：MLM的80/10/10掩码策略在微调与特征提取场景影响不同；NSP被RoBERTa质疑的证据链复杂，其必要性取决于输入打包方式；BERT作为马尔可夫随机场可用吉布斯采样生成文本，但代价高昂；后续如ModernBERT等仍在升级Encoder-only路线，因其在分类、检索等任务上仍有成本优势。

本文探讨了大语言模型在推理阶段的退化现象，如死循环和乱码等问题。退化源于自回归Transformer的注意力机制和数值精度，导致输出失控。文章分析了退化的数学根源、表现形式及其机制，并提出了多层防御策略，包括架构设计、数值工程和解码策略，以提高模型在生产环境中的稳定性。

大模型训练不稳定是常见问题，表现为loss尖峰、发散或NaN。关键预警信号是梯度范数异常，而非loss本身。常用修复手段各有针对：warmup解决Adam早期方差，Pre-LN保持恒等映射，BF16扩大数值范围，梯度裁剪仅作保险丝。loss spike根因包括数值、优化和数据问题。小模型稳定超参放大后失效，因学习率安全窗口随规模收窄，可用μP等方法解决。

Transformer是过去十年最成功的深度学习架构，但其核心限制在于标准attention的O(n²)计算复杂度已被证明是理论下界，无法通过工程优化突破。此外，KV Cache线性增长、自回归串行性、长上下文不等于长期记忆、位置外推失效及数据供给上限等问题，共同构成架构瓶颈。新架构需在质量、成本、稳定性、生态四条战线同时超越Transformer，才能实现替代。

本文回顾GPT系列发展：GPT-1确立Decoder-only预训练，GPT-2展现zero-shot潜力，GPT-3引入上下文学习，InstructGPT通过RLHF实现指令对齐，ChatGPT以对话形态普及，GPT-4迈向多模态。Decoder-only因训练简单、接口通用、扩展清晰而胜出，但存在推理延迟、长上下文成本、幻觉和对齐代价。

Transformer 将进化为混合架构，结合注意力机制、长程状态和外部记忆等模块，以更高效地处理信息并支持多模态输入。硬件发展将影响架构设计，评估方式将变得复杂，强调系统协作和可控性。理解 Transformer 的成功在于其抽象层次和应对未来挑战的能力。

FlashAttention是一种IO感知的精确注意力算法，通过分块和在线softmax避免物化完整注意力矩阵，减少HBM读写，提升效率并降低显存占用，虽FLOPs仍为O(n²)，但优化了硬件执行路径，使长序列训练更可行。

本文介绍状态空间模型（SSM）如何通过固定大小状态压缩历史，解决Transformer长序列瓶颈。S4用HiPPO矩阵实现长程记忆，Mamba引入选择性机制按内容更新状态，并用并行扫描保持训练效率。推理时SSM显存O(1)优于KV Cache，但在精确检索任务上受容量限制。SSD揭示SSM与注意力对偶，混合架构如Jamba平衡两者优势。

KV Cache 是自回归推理中缓存历史 token 的 Key 和 Value，避免重复计算前缀。它利用历史 K/V 不变性，将重复计算转为显存占用，成为长上下文推理的核心瓶颈。推理分 prefill 和 decode 两阶段，KV Cache 内存随层数、序列长度和 batch 线性增长。GQA、PagedAttention 和量化等技术用于优化 cache 管理，平衡性能与资源。

本文介绍RLHF及其变体DPO、GRPO，旨在解决SFT无法表达相对偏好的问题。SFT仅最大化单一参考答案似然，无法区分多个合理回答的优劣。RLHF通过奖励模型和KL约束优化策略，但存在奖励过优化、对齐税等风险。DPO省去显式奖励模型和在线采样，GRPO在可验证奖励场景下省去critic。三者各有适用场景，对齐税是工程问题也是结构性风险。

本文综述了线性注意力、RWKV和RetNet三种将Transformer复杂度从O(n²)降至O(n)的路径。它们用固定状态替代完整注意力，但存在表达力短板：关联检索任务需更大维度或数据依赖门控。理论复杂度不等于实际吞吐，需I/O感知kernel优化。这些模型各有取舍，混合架构或更接近实用。

本文探讨大模型训练中算力分配的核心问题：模型参数与训练数据应如何配比。Kaplan 研究建议偏重模型规模，而 Chinchilla 研究通过三种方法证明两者应等比例增长，并指出前者因学习率调度设计缺陷导致结论偏差。文章还讨论了推理成本、数据受限等现实约束对最优配比的影响，以及相关复现争议。

该文探讨大模型“涌现能力”是否真实存在。Wei等人认为能力随规模突现，但Schaeffer等人指出这可能是评测指标非线性或分辨率不足造成的假象。后续研究如PassUntil发现部分任务仍有非线性，而CoT和ICL的机制证据表明，许多现象更可能是接口激发而非新能力产生。结论是需谨慎看待涌现叙事，区分真实规模效应与评测伪影。