RiskAwareBench：评估基于大语言模型的具身代理的物理风险意识
内容提要
本研究评估了8个语言模型在风险评估中的表现，发现GPT-4得分为72.29%，低于人类的89.38%。研究强调安全风险反馈的重要性，并提出HAZARD评估标准，以评估智能代理在动态环境中的决策能力。同时，探讨了大型语言模型的安全性和可靠性，提出了应对潜在风险的防护策略，强调了持续研究的必要性。
延伸解读
人类与模型的风险评估差距
在R-Judge基准测试中，最佳模型GPT-4的风险评估得分为72.29%，而人类得分为89.38%，差距约17个百分点。这表明当前语言模型在理解物理风险方面仍远不及人类，尤其在涉及动态环境和突发灾害时，模型可能无法准确识别潜在威胁。这一差距提示我们，在将语言模型部署到具身代理等安全关键场景前，需谨慎评估其风险意识水平。
环境反馈提升风险意识
研究发现，将风险描述作为环境反馈能显著提高模型的风险评估性能。这意味着，通过向模型提供关于潜在风险的自然语言解释，可以增强其对危险情境的理解和应对能力。这种反馈机制为改进语言模型的安全决策提供了实用方向，例如在训练或推理阶段融入风险提示，帮助模型更好地识别和规避物理世界中的威胁。
HAZARD基准与动态决策评估
HAZARD是一个新的模拟实体评估标准，专门用于评估动态情况下实体代理的决策能力，涵盖火灾、洪水和风等突发灾害场景。它支持使用大语言模型进行常识推理和决策，并能评估强化学习、基于规则和基于搜索的方法。该基准为比较不同代理在复杂环境中的表现提供了统一平台，有助于推动更安全、更可靠的具身智能发展。
对抗攻击揭示系统脆弱性
研究显示，LLM/VLM与机器人集成的系统容易受到对抗性攻击。在提示性攻击下，平均性能下降21.2%；在感知攻击下，下降达30.2%。这些数据表明，简单的攻击就能显著削弱系统的有效性，突显了在部署先进机器人系统时确保安全性和可靠性的紧迫性。这要求开发更鲁棒的防御策略，并持续进行对抗测试以识别和修补漏洞。
Q&A
GPT-4在风险评估中的表现如何？
GPT-4在风险评估中的得分为72.29%，低于人类的89.38%。
HAZARD评估标准的目的是什么？
HAZARD评估标准旨在评估智能代理在动态环境中的决策能力，特别是在突发灾害场景下。
研究中提到的安全风险反馈有何重要性？
安全风险反馈通过利用风险描述作为环境反馈，显著提高了模型的性能。
大型语言模型面临哪些固有风险？
大型语言模型面临的固有风险包括偏见、不可解释性、幻觉和非可重复性等。
如何提高大型语言模型的安全性？
可以通过对抗性测试识别漏洞，改进安全性，并实施分层保护模型等技术策略来提高安全性。
本研究强调了持续研究的重要性，原因是什么？
持续研究和开发是确保大型语言模型在实际应用中安全和负责任使用的关键。
