量子位
·
AI越聪明越不听话！新研究：最强推理模型指令遵循率仅50%
💡
原文中文，约2900字，阅读约需7分钟。
📝
内容提要
研究表明，复杂推理能力强的AI模型在遵循用户指令方面表现较差。上海人工智能实验室与香港中文大学的研究发现，推理能力与指令遵循之间存在权衡关系，模型越智能，越容易忽视具体指令。新基准MathIF用于评估模型的指令遵循程度，结果显示最佳模型仅能遵循50%的指令。
🎯
关键要点
-
研究表明，复杂推理能力强的AI模型在遵循用户指令方面表现较差。
-
上海人工智能实验室与香港中文大学的研究发现，推理能力与指令遵循之间存在权衡关系。
-
新基准MathIF用于评估模型的指令遵循程度，结果显示最佳模型仅能遵循50%的指令。
-
越擅长复杂推理的模型越容易忽略用户的指令要求。
-
MathIF基准考察AI模型是否严格遵循用户给出的指令要求，包括格式、语言、长度和特定关键词使用。
-
研究发现，推理导向的训练模式削弱了模型对具体指令的敏感性。
-
长推理链降低了模型的指令遵循能力，复杂推理过程容易导致模型注意力分散。
-
限制推理长度有助于提升模型的指令遵循能力，但会导致数学推理能力下降。
-
重复指令要求可以提升模型的指令遵循能力，但可能降低回答问题的准确率。
-
AI的“聪明”与“听话”之间存在难以调和的矛盾。
❓
延伸问答
为什么复杂推理能力强的AI模型不容易遵循指令？
复杂推理能力强的模型往往更专注于解题，而忽视具体指令的细节要求，如格式和字数。
MathIF基准是如何评估AI模型的指令遵循能力的？
MathIF基准通过考察模型是否严格遵循用户给出的指令要求，包括格式、语言、长度和关键词使用，进行评估。
研究发现的最佳AI模型指令遵循率是多少？
研究发现，表现最佳的模型仅能遵循50%的指令。
如何提高AI模型的指令遵循能力？
重复指令要求可以提升模型的指令遵循能力，但可能会降低回答问题的准确率。
推理链的长度如何影响模型的指令遵循能力？
推理链越长，模型的指令遵循准确率越低，因为复杂推理过程容易导致注意力分散。
AI模型的“聪明”与“听话”之间存在什么矛盾？
AI模型越聪明，推理能力越强，往往越容易忽视具体指令，形成“聪明”与“听话”之间的矛盾。
➡️
