政治方位图还是旋转箭头？朝着更有意义的大型语言模型价值观与观点评估
原文中文，约500字，阅读约需1分钟。发表于：。通过对多个选择性调查和问卷调查进行评估，很多最近的工作旨在评估大型语言模型（LLMs）中的价值观和观点。然而，实际应用中的真实关注与当前评估方法的人为性质形成了鲜明的对比。本文挑战了现有基于约束的 LLMs 价值观和观点评估范式，并探索更真实的无约束评估。以政治罗盘测试（PCT）为案例研究，我们发现大多数先前使用 PCT 的工作都要求模型遵守 PCT...
通过多个调查评估发现，大型语言模型（LLMs）在价值观和观点评估中存在问题。政治罗盘测试（PCT）显示，模型在不受强制约束时给出的答案存在实质性差异，并且缺乏改写的稳健性。在更真实的开放性回答环境中，模型再次给出了不同的答案。建议在LLMs的价值观和观点评估中面临开放性挑战。
