本研究提出了一种基于A*搜索算法的解码推理策略,优化了固定计算预算的利用。实验结果表明,该方法在保持大模型性能的同时,令牌使用量减少了3倍,计算通行次数减少30%,展示了结构化搜索在推理中的优势。
完成下面两步后,将自动完成登录并继续当前操作。