新加坡国立大学提出COTA框架,利用0.5B小模型比较候选动作而非直接解题,在运行时干预大模型智能体,在9个组合上均获最佳性能,平均开销1.38倍。关键在成对比较与建设性干预,直接接管会导致崩溃。成本有边界,部分环境开销较高。
本研究提出了一种统计框架,旨在改进LLM聊天机器人的排名,解决成对比较中的平局问题,并考虑竞争者之间的协方差。评估结果显示,该框架在模型拟合和数据分析方面优于现有方法,并发布了开源Python包以支持实用性和可重现性。
该研究提出了QUITE算法,可同时估计工作者可靠性和对象质量,通过成对比较对N个对象排名,实现自适应。与之前算法比较。
完成下面两步后,将自动完成登录并继续当前操作。