RoTBench: 评估大型语言模型在工具学习中的鲁棒性的多层级基准测试
内容提要
本文综述多项大语言模型鲁棒性研究：提出TREvaL，用奖励模型评估鲁棒性，发现模型对词级扰动脆弱且微调后鲁棒性下降；构建TaskBench评估任务自动化能力；扩展BBNLI-next偏见数据集并提出倾向度标准；提出MetaTool评估工具使用意识；RoleLLM增强角色扮演能力；RoAST通过对抗扰动微调提升多角度鲁棒性；并发现多语言翻译中鲁棒性可跨方向传递。
延伸解读
鲁棒性评估的新视角：奖励模型作为诊断工具
文章提出TREvaL方法，利用预训练奖励模型评估大语言模型鲁棒性，在开放性问题中表现准确。实验发现模型对日常语言中常见的词级扰动脆弱，且经过SFT和RLHF微调后鲁棒性反而下降。这提示读者：模型在标准基准上的提升未必伴随鲁棒性增强，实际部署需关注词级扰动带来的风险，并重新审视微调策略对鲁棒性的潜在负面影响。
任务自动化评估：TaskBench的三阶段分解
TaskBench将任务自动化拆解为任务分解、工具调用和参数预测三个阶段，并引入工具图表示用户意图，采用反指导方法生成高质量评估数据。TaskEval从这三个方面评估LLM能力，实验表明TaskBench能有效反映模型在任务自动化中的表现，且与人工评估高度一致。对于构建自主代理的开发者，这一基准提供了标准化评估框架，有助于识别模型在复杂任务中的薄弱环节。
偏见测量与工具选择：BBNLI-next和MetaTool的启示
BBNLI-next通过生成词汇变体、对抗性过滤和人工验证扩展偏见数据集，并提出倾向度标准以区分模型误差类型，弥补现有偏见分数的不足。MetaTool则评估LLMs的工具使用意识和正确选择工具的能力，实验证明大多数LLMs在工具选择上仍存在困难。这两项工作提醒读者：模型偏见评估需考虑促进或反对刻板印象的倾向，而工具选择能力是当前LLMs的普遍短板，需针对性改进。
鲁棒性提升与传递：RoAST和多语言翻译的发现
RoAST通过在微调期间引入对抗性扰动并选择性更新参数，提升语言模型的多角度鲁棒性，在六种模型上优于最先进的微调方法。多语言翻译研究表明，鲁棒性在一个翻译方向获得后可传递到其他方向，且字符级和词级噪声的鲁棒性更易传递。这些发现为实践者提供了增强鲁棒性的具体技术路径，并提示多语言场景下可利用鲁棒性的跨方向传递效应。
Q&A
TREvaL 是什么？它如何评估大语言模型的鲁棒性？
TREvaL 全称为奖励模型合理鲁棒性评估，是一种利用预训练奖励模型作为诊断工具来评估大语言模型鲁棒性的新方法。实验表明，TREvaL 能准确评估模型鲁棒性，尤其在开放性问题中；同时发现大语言模型对词级扰动脆弱，且经过 SFT 和 RLHF 微调后鲁棒性往往下降。
TaskBench 是用来做什么的？它包含哪些评估阶段？
TaskBench 是一个用于评估大语言模型在任务自动化中能力的基准测试。任务自动化分为三个关键阶段：任务分解、工具调用和参数预测。TaskBench 通过工具图表示用户意图中的分解任务，并采用反指导方法模拟用户指令和注释，同时提出 TaskEval 从这三个方面评估模型能力。
MetaTool 基准测试主要评估大语言模型的什么能力？结果如何？
MetaTool 是一个用于评估大语言模型工具使用意识和正确选择工具能力的基准测试。实验证明，大多数大语言模型在工具选择方面仍然存在困难。
RoleLLM 框架如何增强大语言模型的角色扮演能力？
RoleLLM 是一个用于评估和增强大语言模型角色扮演能力的框架。它通过 Context-Instruct 和 RoleGPT 创建了 RoleBench（包含 168,093 个样本的角色扮演基准数据集），并利用 RoleBench 上的 RoCIT 训练出 RoleLLaMA（英文）和 RoleGLM（中文），显著提升了角色扮演能力，甚至与使用 GPT-4 的 RoleGPT 结果相当。
RoAST 微调技术如何提升语言模型的鲁棒性？
RoAST 是一种简单有效的微调技术，通过在微调期间引入对抗性扰动，并选择性更新模型参数（基于相对重要性），来提升语言模型的多角度鲁棒性。在四个代表性鲁棒性角度下评估，RoAST 在六种不同类型的语言模型上均优于最先进的微调方法。
多语言神经机器翻译中，鲁棒性可以在不同翻译方向之间传递吗？
可以。研究表明，在一个翻译方向上获得的鲁棒性能够传递到其他翻译方向。实验使用字符级、词级和多级噪声攻击特定翻译方向，并评估其他方向的鲁棒性，发现字符级噪声和词级噪声的鲁棒性更有可能传递。
