本文提出一种集成式“扩大-剪枝”流水线，用于生成式语言模型预训练。该方法将扩大模型训练、剪枝和恢复整合到单一余弦退火学习率计划中，并引入迭代结构化剪枝，以缓解知识损失并优化神经元容量分配。实验表明，在将2.8B模型压缩至1.3B（预训练达2T tokens）时，该方法提升了剪枝模型的性能，并揭示了扩大预训练的token效率优势。

xAI发布Grok 4.5，宣称在编码任务上以约四分之一token数匹配Claude Opus 4.8，价格更低。测试显示两者代码结果几乎相同，但Grok用23%的token、三分之一时间完成，成本仅约2美元，而Opus需5.14美元。尽管Opus在文档上更细致，Grok在效率和成本上优势明显，适合关注token消耗的开发者。

本文分析了19种Web框架的token效率，发现轻量级框架（如ASP.NET Minimal API）相比重型框架（如Phoenix）消耗低近3倍，为AI Agent开发提供了参考。

大语言模型（LLM）通过元强化微调（MRT）优化推理能力，研究表明MRT在多个基准测试中优于传统的结果奖励强化学习（RL），在准确率和token效率上均有显著提升。MRT通过平衡探索与利用，优化LLM输出，推动解决更复杂的问题。