本文介绍了如何从零开始构建乌尔都语的大语言模型（LLM），涵盖数据准备、标记化、预训练、监督微调和部署等步骤。重点在于通过实践理解LLM的工作原理，最终目标是创建一个可用的乌尔都语聊天机器人，并提供技术栈和代码示例。尽管模型较小，数据集有限，但每个步骤展示了构建LLM的基本概念。

大语言模型（LLM）微调是通过在特定任务数据集上继续训练预训练模型，以提高其在特定领域的表现。微调比从头开始训练更高效，允许组织定制模型行为，缩短生产时间。选择合适的微调方法可以降低计算成本和过拟合风险，适用于需要深度行为改变的任务。

人工智能（AI）是识别模式、学习数据并生成有用输出的软件。大型语言模型（LLM）专注于语言，通过大量文本学习生成和转换文本。AI模型分为预训练和后训练阶段，后者强调安全性和可靠性。用户可根据需求选择合适的模型。

本文探讨了小型语言模型（SLMs）在预训练过程中应学习的标记及何时通过<CALL>标记请求外部帮助。研究表明，损失值可以预测标记的准确性，但某些高损失标记仍可接受。提出的LaCy方法通过选择性学习和委托，显著提高了生成的准确性和效率。

大模型训练的关键在于后训练阶段，包括指令遵循、评测和奖励等，这些因素直接影响用户体验。预训练是基础，但后续的训练流程和数据配置更决定模型的实际能力。模型优化不仅依赖参数，还需考虑系统架构和反馈机制。

本文探讨了语言模型的优化分割，提出了一种通过独立预训练多个模型并利用缩放法则优化计算分配的方法。这种方法在不同模型规模和计算预算下，能有效提升模型在常识知识和推理基准上的表现。

EgoScale是一个基于大规模自中心人类数据的灵巧操作迁移框架。通过在20854小时的动作标注视频上训练视觉-语言-动作模型，发现人类数据规模与验证损失呈对数线性关系。该框架采用两阶段迁移方案，先进行大规模预训练，再进行少量对齐的中期训练，使机器人在极少监督下实现灵巧操作。研究表明，预训练策略在不同机器人平台上均能有效迁移，提升任务成功率。

何恺明团队的GeoPT提出了一种新预训练范式，通过合成动力学将静态几何转化为动态空间，使模型能够在无标签数据上学习物理规律。该方法节省了20-60%的物理仿真数据，提高了训练效率和适应性，为物理仿真提供了新思路。

基础模型不仅限于ChatGPT，预训练模型在计算机视觉和自然语言处理领域已有应用。现在，这种方法正在重塑时间序列预测，通过在大规模时间数据上预训练，提供强大的零-shot预测能力。文章介绍了五种时间序列基础模型，包括Chronos-2、TiRex、TimesFM、IBM Granite TTM R2和Toto Open Base 1，强调它们在多变量预测中的优势和应用场景。

基础模型改变了时间序列预测方式，提供预训练解决方案，减少模型调整时间。五个关键模型包括：Amazon Chronos-2（成熟选项）、Salesforce MOIRAI-2（通用预测器）、Lag-Llama（开源基础）、Time-LLM（LLM适配器）和Google TimesFM（企业级标准），各具特色，提升预测效率与准确性。

PatrickStar是一个基于PyTorch的预训练模型并行训练框架，采用动态内存管理和异构训练策略，降低GPU内存使用，支持大模型训练，特别适合硬件受限环境下的预训练和大规模微调。

本文介绍了一种基于层次记忆的预训练方法，旨在提升小型语言模型的性能。该方法通过访问大型记忆库，有效存储和提取长尾知识，同时保持常识理解。实验结果表明，使用这种记忆增强架构的小模型在性能上可与参数更多的常规模型相媲美，并在资源受限的设备上表现优异。

本文探讨了PI公司发布的Human to Robot数据采集工作，强调通过人类视频学习技能的潜力。研究表明，多样化的数据预训练能提升机器人对人类数据的迁移能力，促进其在新任务和场景中的泛化。作者提出了一种联合训练方案，验证了多样化预训练的重要性。

本文介绍了如何在本地GPU上预训练Llama模型，包括训练特定标记的分词器、准备训练数据和执行预训练。使用HuggingFaceFW/fineweb数据集，创建一个12层的Llama模型，并设置训练参数以实现模型训练。

本文探讨了通过数据中心方法改进语音语言模型（SpeechLMs）预训练的策略，重点关注处理原始音频、构建合成数据集和文本与音频交错训练。研究表明，经过有效数据整理的3.8B参数模型SpeLangy在性能上超越了更大模型10.2%。这些发现为未来的语音语言模型数据探索提供了指导。

自然语言生成（NLG）面临挑战，现代解码器模型如Llama和GPT在大量文本数据上训练有效。本文介绍了如何构建Llama或GPT模型进行下一个标记预测，包括模型架构、预训练和变体。Llama模型采用分组查询注意力和旋转位置嵌入，使用SwiGLU激活函数，形成简单高效的语言模型。