UBENCH：使用多项选择题对大型语言模型中的不确定性进行基准测试
原文中文，约1300字，阅读约需3分钟。
📝
内容提要
本研究探讨了大型语言模型（LLMs）不确定性与准确性之间的关系，发现较大模型可能表现出更高的不确定性。通过基准测试评估模型满足用户需求和处理多样化输入的能力，强调安全性和标准化评估的重要性，并指出依赖简单基准评估的风险，建议采用更健壮的评估方案。
❓
Q&A
大型语言模型的不确定性与准确性之间有什么关系？
研究发现，准确性较高的大型语言模型可能显示出较低的确定性。
为什么较大规模的语言模型会有更大的不确定性？
较大规模的语言模型可能与较小规模的模型相比具有更大的不确定性，尤其是在指令微调后。
如何评估大型语言模型的安全性？
研究设计了一个综合评估工具，包含11435个不同类别的问题，能够提供中英文评估结果。
依赖简单基准评估有什么风险？
依赖简单基准评估存在风险，可能导致对模型性能的误判，建议规划更健壮的评估方案。
研究中如何从用户角度进行大型语言模型的基准测试？
研究提出从用户角度对大型语言模型进行基准测试，以更好地反映实际用户需求，并构建了用户报告场景数据集。
GPT-4在安全性方面的表现如何？
测试发现GPT-4在安全性方面表现突出，但仍有提升空间。
🏷️
