A*-Decoding: Token-Efficient Inference Scaling

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

本研究提出了一种基于A*搜索算法的解码推理策略,优化了固定计算预算的利用。实验结果表明,该方法在保持大模型性能的同时,令牌使用量减少了3倍,计算通行次数减少30%,展示了结构化搜索在推理中的优势。

🏷️

标签

➡️

继续阅读