本研究提出了一种“层可调交互”的编码器架构，旨在提升自然语言处理任务的表现并降低计算量。研究表明，简单的下一个标记预测器在文本生成和算术任务中表现良好，强调了自回归训练方案的重要性。此外，通过预测多个未来标记来提高样本利用效率，解决了大型语言模型的黑箱问题，并揭示了每层对预测准确性的贡献。

大型语言模型在逻辑和数学推理方面表现出色。研究提出了一个理论框架，表明简单的下一个标记预测器能够有效近似图灵机计算的函数。引入长度复杂度作为新度量，并分析其与其他复杂度的关系。实验证明，简单模型在文本生成和算术任务中表现良好，强调了自回归训练方案的重要性。