研究表明,复杂推理能力强的AI模型在遵循用户指令方面表现较差。上海人工智能实验室与香港中文大学的研究发现,推理能力与指令遵循之间存在权衡关系,模型越智能,越容易忽视具体指令。新基准MathIF用于评估模型的指令遵循程度,结果显示最佳模型仅能遵循50%的指令。
本论文研究了语言模型对齐的重要性,并实验证实了对齐增加和模型有用性减少之间的权衡关系。同时,提出了对齐中表示工程的有用性边界。
完成下面两步后,将自动完成登录并继续当前操作。