字节与复旦大学研究人员提出了自适应推理框架CAR，该框架根据模型困惑度动态选择短回答或长文本推理，以平衡准确性与效率。研究表明，长CoT推理并不总能提高准确率，甚至可能降低简单任务的处理能力。CAR在低置信度时使用长推理，高置信度时直接输出短回答，显著提升了多模态视觉问答和信息提取任务的表现。

本研究提出了一种名为稀疏注意力混合（MoSA）的方法，旨在降低大型语言模型自注意力计算的复杂度。MoSA通过动态选择注意力头的标记，显著提高模型性能，在相同计算预算下，困惑度比稠密基线高出27%。

本研究提出了一种层敏感的量化方法，解决了现有方法在处理大规模神经网络时未考虑各层量化难度的问题。通过识别量化困难的层并分配更多内存预算，提出了SensiBoost和KurtBoost方法，显著提高了量化精度，在LLama模型上实现了9%的困惑度提升，仅增加2%的内存预算。

本研究提出了一种新的模型——困惑度注意力加权网络（PAWN），用于检测人工智能生成的文本。该模型通过加权特征显著提升检测性能，具有良好的适应性和鲁棒性，能够在资源要求减少的情况下应对分布变化。

本研究提出了一种新方法，通过增强大型语言模型的关键值缓存，解决其在处理复杂问题时的延迟和优化困难。该方法使模型能够以可微分的方式学习提炼额外计算，从而显著降低推理任务中的困惑度并提高性能。

该研究探讨了开放式文本生成中模型质量评估的挑战，提出了一种基于偏序的基准方法和新的总结指标，以平衡连贯性、多样性和困惑度，从而提供更全面的质量评估。

本研究提出了一种新的混合专家模型（CartesianMoE），通过笛卡尔乘积路由提升专家之间的知识共享。该方法在困惑度和下游任务性能上优于传统模型，并增强了专家路由的鲁棒性。

本研究解决了语言建模中规划模块与语言模型无法共同微调的问题。通过使用预测标签概率作为混合权重的方法，实现共同训练，优化标签分布。实验结果显示，该方法在困惑度上有明显改善。

本研究提出了一种插拔式性能估计方法，利用少量未标记样本解决大语言模型在不同任务和上下文中的性能差异问题。通过负对数似然和困惑度优化LLM服务的选择和使用。

本研究探讨了大语言模型中长上下文处理的评估不确定性问题，强调了困惑度的重要性，指出近似注意力方法的低效，并证实了精确微调方法的有效性，推动了该领域的发展。

本文探讨了通过优化数据选择和混合算法提升大型语言模型（LLM）的训练效果。研究表明，使用困惑度方法可以有效去除数据噪声，提高预训练数据质量。此外，提出了一种新颖的数据泄漏检测方法，能够在黑箱条件下识别预训练数据中的问题，从而增强模型性能和可靠性。

本文探讨了提高非参数神经语言模型效率的方法，实验表明在保持性能的同时可提升推理速度6倍。引入的$k$NN-LMs模型结合了预训练神经语言模型与最近邻模型，取得了新的最先进困惑度。此外，研究显示检索增强语言模型在少数样本任务中表现优异，并提出了改进方法以提升模型在新领域的适用性。

通过语言模型的计算模拟研究了语序普遍现象，发现具有典型语序的模型困惑度较低，认知偏见和可预测性相互作用解释了语序普遍现象，认知驱动语言模型具有优势。

本文介绍了一种名为Permute-and-Flip（PF）解码器的新方法，具有与标准采样解码器类似的健壮性特性，但在质量-健壮性权衡方面比采样高出2倍且不会比其他解码器差。实验证明PF解码器在困惑度方面优于朴素采样，成为一种有前景的新的LLM解码方法。

本文研究了语言模型中的情感偏见，并提出了一种正则化方法来减少偏见。研究发现大规模模型在不同语料库上训练时存在较高的偏见。该正则化方法提高了公正度量，同时保持了困惑度和语义相似性。