PayPal AI 的论文《结构税》被 AACL IJCNLP 2026 接收。研究重新审视强制大模型按 JSON/XML 输出导致的精度损失,发现根源在于字段顺序而非结构本身:当推理字段排在答案字段之前时,两个开权重小模型在 GSM8K 上的准确率从 10.98% 回升至 83-87%。机制是自回归生成中答案 token 过早确定。结论:将推理字段置于答案字段之前即可,无需更换模型或增加开销。
本研究提出了φ-解码策略,通过前瞻性采样和聚类优化推理时间,提升自回归生成方法的效率和性能。实验结果表明,φ-解码在多个基准测试中优于现有方法,具备良好的通用性和可扩展性。
本研究提出多速率残差混合(M2R2)框架,旨在解决自回归生成中的推理效率与生成准确性之间的权衡。M2R2通过动态调整残差速度,提升早期对齐,从而显著提高推理效率,优于现有方法。
本文综述加速大语言模型推理的方法:先分析自回归生成慢的算法与硬件原因,并给出首字延迟、吞吐量等指标;随后介绍硬件加速、编译器优化、批量与持续批处理、低精度与量化、KV缓存、MQA/GQA、PagedAttention、投机性解码及阈值解码、语法引导生成、预见解码等技巧,并简述稀疏注意力和非Transformer架构趋势。
完成下面两步后,将自动完成登录并继续当前操作。