麻省理工学院研究人员开发了一种动态调整计算预算的方法,使大型语言模型在解决复杂问题时更高效。该方法根据问题难度和解决方案成功概率灵活分配计算资源,降低能耗并提高准确性。研究表明,小型语言模型在复杂问题上的表现优于大型模型,提升了推理的可靠性和效率。
本研究提出了一种基于A*搜索算法的解码推理策略,优化了固定计算预算的利用。实验结果表明,该方法在保持大模型性能的同时,令牌使用量减少了3倍,计算通行次数减少30%,展示了结构化搜索在推理中的优势。
该文介绍了一种名为NAS-NeRF的神经架构搜索策略,可动态优化NeRF架构以在计算预算和最小合成质量的约束条件下权衡复杂度和性能。实验结果表明,NAS-NeRF相比基准NeRF可生成的架构规模减小5.74倍,FLOPs减少4.19倍,在GPU上速度提升1.93倍,结构相似性下降仅5.3%。
本文提出了一种用于在线连续学习问题的简单算法,采用kNN分类器和通用预先训练的特征提取器。该算法能够在小的计算预算下紧凑存储和利用整个数据流,减少过往数据的遗忘并快速适应变化的数据流。在CLOC和CGLM两个大规模OCL数据集上取得了最新的技术水平。
完成下面两步后,将自动完成登录并继续当前操作。