研究人员构建了PowerPoint任务完成鲁棒性评估基准(PPTC-R)，评估语言模型对软件版本的鲁棒性。研究发现GPT-4在版本更新和多语言设置中表现出最高的性能和鲁棒性，但在面对多个挑战时，所有语言模型都会失去鲁棒性，导致性能下降。研究人员进一步分析了语言模型的鲁棒性行为和错误原因，为开发更强大的语言模型和代理提供了宝贵的见解。

本研究记录了医院中患者、陪伴者和社交机器人之间的29个多方对话，并对此语料库进行了注释。GPT-3.5-turbo在少样本设置中表现最佳。多方对话仍然是大规模语言模型的挑战。