UCLA与Arena的预印本对AI用户模拟器评估方法进行反向检验:向模拟用户注入10种已知坏行为,SimulatorArena、VISTA、SWE-Together分别仅检出6、5、6项,新套件则全部检出。最严重的问题是模拟用户偏爱被测Agent,三套方法均未检出,而这种偏爱确实会改变Agent分数与排名;部分套件的综合分甚至给坏行为更高分。作者也承认自家指标在提前终止项上存在系统性反向,且数据仅来自单平台,属未经评审的预印本。
完成下面两步后,将自动完成登录并继续当前操作。