UBENCH：使用多项选择题对大型语言模型中的不确定性进行基准测试
内容提要
本研究探讨了大型语言模型（LLMs）不确定性与准确性之间的关系，发现较大模型可能表现出更高的不确定性。通过基准测试评估模型满足用户需求和处理多样化输入的能力，强调安全性和标准化评估的重要性，并指出依赖简单基准评估的风险，建议采用更健壮的评估方案。
延伸解读
不确定性量化为何重要
文章指出，准确性高的模型可能确定性较低，而更大模型的不确定性反而更高，指令微调也会增加不确定性。这意味着仅看准确率会忽略模型在输出时的置信程度，而置信度直接影响用户对结果的信任和后续决策。因此，在评估中整合不确定性量化，能更全面地反映模型的实际可用性。
排行榜排名的脆弱性
文章通过实验发现，仅改变选择题选项顺序或答案选择方法，就能导致模型排名变化高达8位。这说明依赖现有排行榜选择模型存在风险，因为排名对微小扰动非常敏感。文章建议采用混合评分方法等最佳实践，并规划更健壮的评估方案，以降低误导性结论。
安全评估的现状与局限
基于SafetyBench的评估工具包含11435个中英文问题，测试显示GPT-4在安全性上表现突出，但当前模型整体仍有提升空间。文章还从人、过程和技术视角审视了23个基准，发现显著限制，强调标准化方法、监管确定性和伦理指南的迫切需求，以及协作发展广泛接受基准的重要性。
Q&A
大型语言模型的不确定性与准确性之间有什么关系？
研究发现，准确性较高的大型语言模型可能显示出较低的确定性。
为什么较大规模的语言模型会有更大的不确定性？
较大规模的语言模型可能与较小规模的模型相比具有更大的不确定性，尤其是在指令微调后。
如何评估大型语言模型的安全性？
研究设计了一个综合评估工具，包含11435个不同类别的问题，能够提供中英文评估结果。
依赖简单基准评估有什么风险？
依赖简单基准评估存在风险，可能导致对模型性能的误判，建议规划更健壮的评估方案。
研究中如何从用户角度进行大型语言模型的基准测试？
研究提出从用户角度对大型语言模型进行基准测试，以更好地反映实际用户需求，并构建了用户报告场景数据集。
GPT-4在安全性方面的表现如何？
测试发现GPT-4在安全性方面表现突出，但仍有提升空间。
