本文提出一种集成式“扩大-剪枝”流水线，用于生成式语言模型预训练。该方法将扩大模型训练、剪枝和恢复整合到单一余弦退火学习率计划中，并引入迭代结构化剪枝，以缓解知识损失并优化神经元容量分配。实验表明，在将2.8B模型压缩至1.3B（预训练达2T tokens）时，该方法提升了剪枝模型的性能，并揭示了扩大预训练的token效率优势。

MIT与清华团队开发GeoPT预训练方法，利用合成动力学数据让AI模型高效学习物理规律，模拟物体对风、水、碰撞等反应。该模型训练速度提升两倍，数据需求减少60%，在工业基准测试中表现优异，可帮助工程师测试车辆设计，并朝物理基础模型迈进。

强化学习在AI训练中比预训练更高效，尽管信息论上看似低效。预训练信号被噪音淹没，而强化学习提供纯净信号，能快速提升任务性能。它依赖预训练基础，通过高信噪比精准优化，如GRPO方法。核心是降低方差、提高信噪比，但边际收益递减，未来方向未知。

月之暗面发布2.8万亿参数开源模型Kimi K3，在芯片设计、天体物理等领域展现自主能力。其成功源于“AI Native人才观”五层理念，构成低成本试错机制，使公司敢于逆势押注预训练。文章分析该机制降低试错成本，但也指出其因果关系难证、可持续性存疑。

上海创智学院的罗剑岚团队发布了全球最大规模的开源预训练具身世界模型τ0-WM，使用了17800小时的真机遥操作数据。该模型通过评估多个候选动作，提升了机器人在复杂任务中的成功率，推动了预训练与后训练的结合。

百度于5月9日发布文心大模型5.1，采用多维弹性预训练技术，预训练成本仅为同规模模型的6%。该模型在智能体、知识、推理和深度搜索等方面表现优异，登上LMArena搜索榜国内第一、全球第四。文心5.1的综合能力显著提升，已在百度千帆模型广场上线，面向企业用户和开发者开放体验。

本文介绍了AI语言理解的进展，特别是生成预训练（GPT）模型的创新。通过在大量未标记文本上进行预训练，再利用小规模标记数据进行微调，模型能够适应多种任务。这种方法减少了对标记数据的依赖，提升了模型的通用性和性能，成为现代语言模型的基础。

本文介绍了如何从零开始构建乌尔都语的大语言模型（LLM），涵盖数据准备、标记化、预训练、监督微调和部署等步骤。重点在于通过实践理解LLM的工作原理，最终目标是创建一个可用的乌尔都语聊天机器人，并提供技术栈和代码示例。尽管模型较小，数据集有限，但每个步骤展示了构建LLM的基本概念。

大语言模型（LLM）微调是通过在特定任务数据集上继续训练预训练模型，以提高其在特定领域的表现。微调比从头开始训练更高效，允许组织定制模型行为，缩短生产时间。选择合适的微调方法可以降低计算成本和过拟合风险，适用于需要深度行为改变的任务。

人工智能（AI）是识别模式、学习数据并生成有用输出的软件。大型语言模型（LLM）专注于语言，通过大量文本学习生成和转换文本。AI模型分为预训练和后训练阶段，后者强调安全性和可靠性。用户可根据需求选择合适的模型。

本文探讨了小型语言模型（SLMs）在预训练过程中应学习的标记及何时通过<CALL>标记请求外部帮助。研究表明，损失值可以预测标记的准确性，但某些高损失标记仍可接受。提出的LaCy方法通过选择性学习和委托，显著提高了生成的准确性和效率。

大模型训练的关键在于后训练阶段，包括指令遵循、评测和奖励等，这些因素直接影响用户体验。预训练是基础，但后续的训练流程和数据配置更决定模型的实际能力。模型优化不仅依赖参数，还需考虑系统架构和反馈机制。

本文探讨了语言模型的优化分割，提出了一种通过独立预训练多个模型并利用缩放法则优化计算分配的方法。这种方法在不同模型规模和计算预算下，能有效提升模型在常识知识和推理基准上的表现。

EgoScale是一个基于大规模自中心人类数据的灵巧操作迁移框架。通过在20854小时的动作标注视频上训练视觉-语言-动作模型，发现人类数据规模与验证损失呈对数线性关系。该框架采用两阶段迁移方案，先进行大规模预训练，再进行少量对齐的中期训练，使机器人在极少监督下实现灵巧操作。研究表明，预训练策略在不同机器人平台上均能有效迁移，提升任务成功率。

何恺明团队的GeoPT提出了一种新预训练范式，通过合成动力学将静态几何转化为动态空间，使模型能够在无标签数据上学习物理规律。该方法节省了20-60%的物理仿真数据，提高了训练效率和适应性，为物理仿真提供了新思路。