PPTC-R 基准：评估大型语言模型对 PowerPoint 任务完成的健壮性
内容提要
本文评估了大型语言模型（LLM）在多模式指令下的能力，发现其在多轮会话中存在错误累积和鲁棒性问题。研究提出了多种提升模型鲁棒性的方法，包括使用奖励模型和构建新的数据集。实验结果显示，尽管LLM在自然语言理解和代码生成方面表现优异，但仍然面临API误用和对抗性指令的脆弱性。
延伸解读
多轮任务中的错误累积
文章指出，大型语言模型在多轮会话中面临错误累积的挑战。即使GPT-4在单轮对话测试中表现优异，但在完成整个多轮会话时仍面临较大困难。这表明模型在连续交互中可能逐步放大初始错误，影响最终任务完成质量。对于依赖多轮交互的PPT生成等复杂任务，这一局限性尤为突出。
鲁棒性提升策略
为增强模型鲁棒性，研究提出了多种方法：使用奖励模型进行诊断评估（如TREvaL），构建对抗样本和干净样本的上下文演示，以及采用代码风格指示替代自然语言指示。此外，RoTBench和RoTTuning策略被用于评估和增强工具学习中的鲁棒性。这些方法在多个鲁棒性数据集上持续优于自然语言指令的基线。
代码生成的API误用风险
文章提到，即使对于GPT-4，在RobustAPI数据集的1208个编程问题中，62%的生成代码存在API误用，可能导致意想不到的后果。这揭示了LLM在代码生成可靠性方面的严重不足。同时，模型对词级扰动脆弱，且经过进一步微调（SFT和RLHF）后鲁棒性可能降低，这为实际部署敲响了警钟。
开源与闭源模型的权衡
文章比较了闭源和开源大型语言模型在会议摘要系统中的应用。结果显示，大多数闭源模型性能更好，但较小的开源模型如LLaMA-2（7B和13B）在零样本情况下仍可达到与大型闭源模型相当的性能。考虑到隐私问题和高成本，开源模型更适合工业应用，其中LLaMA-2-7B在性能、成本和隐私之间取得了平衡。
Q&A
大型语言模型在多轮会话中面临哪些主要问题？
大型语言模型在多轮会话中面临错误累积和鲁棒性问题。
如何提升大型语言模型的鲁棒性？
可以通过使用奖励模型和构建新的数据集来提升大型语言模型的鲁棒性。
GPT-4在单轮对话和多轮会话中的表现如何？
GPT-4在单轮对话测试中表现优异，但在多轮会话中面临较大挑战。
RobustAPI数据集的目的是什么？
RobustAPI数据集用于评估大型语言模型生成代码的可靠性和鲁棒性。
TREvaL方法在评估大型语言模型的稳健性方面有什么发现？
TREvaL方法发现大型语言模型对词级扰动脆弱，且微调后鲁棒性可能降低。
开源模型在工业应用中有哪些优势？
开源模型在性能、成本和隐私问题之间取得平衡，更适合工业应用。
