本文介绍了一种名为标准化测试套件(STS)的方法,用于评估智能体在与人类进行多模态互动中的表现。STS通过真实人类互动数据构建行为场景,记录智能体的表现并由人类评估成功与否。该方法旨在提高评估的控制性和速度,促进人机互动研究的发展。早期实验显示自动化标注可能可行,从而实现快速有效的评估。
完成下面两步后,将自动完成登录并继续当前操作。