上海创智学院的罗剑岚团队发布了全球最大规模的开源预训练具身世界模型τ0-WM，使用了17800小时的真机遥操作数据。该模型通过评估多个候选动作，提升了机器人在复杂任务中的成功率，推动了预训练与后训练的结合。

百度于5月9日发布文心大模型5.1，采用多维弹性预训练技术，预训练成本仅为同规模模型的6%。该模型在智能体、知识、推理和深度搜索等方面表现优异，登上LMArena搜索榜国内第一、全球第四。文心5.1的综合能力显著提升，已在百度千帆模型广场上线，面向企业用户和开发者开放体验。

本文介绍了AI语言理解的进展，特别是生成预训练（GPT）模型的创新。通过在大量未标记文本上进行预训练，再利用小规模标记数据进行微调，模型能够适应多种任务。这种方法减少了对标记数据的依赖，提升了模型的通用性和性能，成为现代语言模型的基础。

本文介绍了如何从零开始构建乌尔都语的大语言模型（LLM），涵盖数据准备、标记化、预训练、监督微调和部署等步骤。重点在于通过实践理解LLM的工作原理，最终目标是创建一个可用的乌尔都语聊天机器人，并提供技术栈和代码示例。尽管模型较小，数据集有限，但每个步骤展示了构建LLM的基本概念。

大语言模型（LLM）微调是通过在特定任务数据集上继续训练预训练模型，以提高其在特定领域的表现。微调比从头开始训练更高效，允许组织定制模型行为，缩短生产时间。选择合适的微调方法可以降低计算成本和过拟合风险，适用于需要深度行为改变的任务。

人工智能（AI）是识别模式、学习数据并生成有用输出的软件。大型语言模型（LLM）专注于语言，通过大量文本学习生成和转换文本。AI模型分为预训练和后训练阶段，后者强调安全性和可靠性。用户可根据需求选择合适的模型。

本文探讨了小型语言模型（SLMs）在预训练过程中应学习的标记及何时通过<CALL>标记请求外部帮助。研究表明，损失值可以预测标记的准确性，但某些高损失标记仍可接受。提出的LaCy方法通过选择性学习和委托，显著提高了生成的准确性和效率。

大模型训练的关键在于后训练阶段，包括指令遵循、评测和奖励等，这些因素直接影响用户体验。预训练是基础，但后续的训练流程和数据配置更决定模型的实际能力。模型优化不仅依赖参数，还需考虑系统架构和反馈机制。

本文探讨了语言模型的优化分割，提出了一种通过独立预训练多个模型并利用缩放法则优化计算分配的方法。这种方法在不同模型规模和计算预算下，能有效提升模型在常识知识和推理基准上的表现。

EgoScale是一个基于大规模自中心人类数据的灵巧操作迁移框架。通过在20854小时的动作标注视频上训练视觉-语言-动作模型，发现人类数据规模与验证损失呈对数线性关系。该框架采用两阶段迁移方案，先进行大规模预训练，再进行少量对齐的中期训练，使机器人在极少监督下实现灵巧操作。研究表明，预训练策略在不同机器人平台上均能有效迁移，提升任务成功率。

何恺明团队的GeoPT提出了一种新预训练范式，通过合成动力学将静态几何转化为动态空间，使模型能够在无标签数据上学习物理规律。该方法节省了20-60%的物理仿真数据，提高了训练效率和适应性，为物理仿真提供了新思路。

基础模型不仅限于ChatGPT，预训练模型在计算机视觉和自然语言处理领域已有应用。现在，这种方法正在重塑时间序列预测，通过在大规模时间数据上预训练，提供强大的零-shot预测能力。文章介绍了五种时间序列基础模型，包括Chronos-2、TiRex、TimesFM、IBM Granite TTM R2和Toto Open Base 1，强调它们在多变量预测中的优势和应用场景。

基础模型改变了时间序列预测方式，提供预训练解决方案，减少模型调整时间。五个关键模型包括：Amazon Chronos-2（成熟选项）、Salesforce MOIRAI-2（通用预测器）、Lag-Llama（开源基础）、Time-LLM（LLM适配器）和Google TimesFM（企业级标准），各具特色，提升预测效率与准确性。

PatrickStar是一个基于PyTorch的预训练模型并行训练框架，采用动态内存管理和异构训练策略，降低GPU内存使用，支持大模型训练，特别适合硬件受限环境下的预训练和大规模微调。

本文介绍了一种基于层次记忆的预训练方法，旨在提升小型语言模型的性能。该方法通过访问大型记忆库，有效存储和提取长尾知识，同时保持常识理解。实验结果表明，使用这种记忆增强架构的小模型在性能上可与参数更多的常规模型相媲美，并在资源受限的设备上表现优异。

本文探讨了PI公司发布的Human to Robot数据采集工作，强调通过人类视频学习技能的潜力。研究表明，多样化的数据预训练能提升机器人对人类数据的迁移能力，促进其在新任务和场景中的泛化。作者提出了一种联合训练方案，验证了多样化预训练的重要性。