字节与复旦大学研究人员提出了自适应推理框架CAR，该框架根据模型困惑度动态选择短回答或长文本推理，以平衡准确性与效率。研究表明，长CoT推理并不总能提高准确率，甚至可能降低简单任务的处理能力。CAR在低置信度时使用长推理，高置信度时直接输出短回答，显著提升了多模态视觉问答和信息提取任务的表现。

本研究提出了一种“基于确定性的自适应推理”（CAR）框架，旨在提高大型语言模型（LLMs）和多模态大型语言模型（MLLMs）的推理效率。CAR通过动态调整简短回答与长形式推理，提升了简单任务的性能，并在多模态基准测试中展现了更好的准确性和效率平衡。

SHARCS是一种自适应推理方法，通过训练路由器将不同难度的输入样本定向到具有不同宽度的子网络，能够泛化到不同的架构，提高效率并且能够在几乎不损失准确性的情况下提供2倍的推理加速。