近期大语言模型（LLMs）的普及凸显了公平性基准的重要性。传统公平性指标未能有效捕捉模型的不确定性影响。为此，我们提出了UCerF指标，以更细致地评估模型公平性。同时，我们创建了一个包含31,756个样本的新性别-职业公平性评估数据集。通过该基准评估十个开源LLMs的表现，发现Mistral-7B在不正确预测中表现出高自信，UCerF能够捕捉到这一点。我们的基准为开发更透明的AI系统奠定了基础。