ST-WebAgentBench：评估网络代理安全性和可信性的基准
原文中文，约300字，阅读约需1分钟。发表于：。本研究解决了现有网络代理基准忽视安全性和可信性的问题，提出了一种新型在线基准ST-WebAgentBench，以评估企业环境中网络代理的安全和可信行为。研究发现目前的尖端代理在遵守政策方面存在问题，因此无法在关键业务应用中可靠使用，同时提出了改善政策意识和合规性的架构原则。
本研究使用R-Judge评估8种语言模型在27个风险场景中的表现。GPT-4的风险评估得分为72.29%，低于人类的89.38%，显示出提升风险意识的潜力。通过风险描述反馈显著提高模型性能，强调安全风险反馈的重要性。研究还通过安全分析技术和案例研究促进未来研究。
