开闭源模型「大乱斗」：看看哪个智能体最能窥见人类真实意图
内容提要
清华大学、人民大学和腾讯联合团队提出了一种新的智能体交互设计方案，通过引入Intention-in-Interaction（IN3）基准测试来评估智能体的交互能力。他们使用Mistral-7B框架和基于IN3训练的Mistral-Interact模型，能够识别模糊用户任务、恢复关键缺失信息、设定精确的智能体执行目标，并减少冗余工具使用。该方案填补了智能体与用户交互的空白，将人类置于智能体设计的中心。
延伸解读
IN3基准：填补交互评估空白
当前智能体基准通常假设任务清晰，忽视用户意图理解。IN3通过任务模糊性判断和用户意图理解来评测交互能力，其数据构造结合Self-Instruct生成与人工标注，覆盖模糊度、缺失细节及潜在选项，为交互能力提供了可量化的评估标准。
Mistral-Interact：小模型的大交互
基于Mistral-7B训练的Mistral-Interact，在指令理解测试中，于任务模糊度判断和缺失细节覆盖率等指标上表现最佳，询问方式更友好，与GPT-4不相上下。这表明通过针对性训练，开源小模型也能在交互意图理解上达到先进水平。
嵌入XAgent：执行效率提升
将Mistral-Interact作为上游交互模块整合到XAgent后，智能体能够避免设定不必要目标，执行更符合用户意图，并减少冗余工具调用。案例研究显示，明确的任务目标使子任务更具体，执行流程简化，工具调用次数下降，整体效率提高。
鲁棒交互：适应多样用户行为
案例分析表明，Mistral-Interact能适应不同用户语气和对话风格，即使面对简短、冷漠或含拼写错误的回答，也能准确理解。当用户不合作时，它能继续追问引导对话；还能将用户额外提供的信息纳入总结，展现出较强的鲁棒性和用户友好性。
Q&A
什么是Intention-in-Interaction（IN3）基准测试？
IN3基准测试是一种评估智能体交互能力的新方法，旨在通过判断任务模糊性和理解用户意图来评测智能体的能力。
Mistral-Interact模型的主要功能是什么？
Mistral-Interact模型能够识别模糊用户任务、恢复缺失信息、设定精确的执行目标，并减少冗余工具使用。
传统智能体在理解用户意图方面存在哪些不足？
传统智能体对明确命令反应迅速，但在理解复杂的隐式意图上表现不足，难以捕捉用户的真实需求。
Mistral-Interact模型如何改善用户与智能体的交互？
Mistral-Interact通过主动评估任务模糊性和询问用户意图，使得智能体能够更好地理解和响应用户需求。
该研究的团队由哪些机构组成？
该研究团队由清华大学、人民大学和腾讯联合组成。
Mistral-Interact模型在任务执行方面的表现如何？
Mistral-Interact在任务执行中能够避免设定不必要的目标，使执行过程更符合用户意图，并减少工具调用。
