大型语言模型（LLM）的预训练方法主要依赖下一个标记预测，但存在局限性。Meta AI 提出的 CoCoMix 结合标记预测与概念理解，通过稀疏自动编码器提取高级语义，提升推理效率和可解释性。实验结果显示，CoCoMix 在样本效率和泛化能力上显著改善。