本研究提出了一种新方法，通过专家利用现有基准生成概率估计，解决大型语言模型潜在风险的测量问题，展现出良好的定量评估前景。

本文研究了自然语言模型（如T5、BART、GPT-2、GPT-3等）的知识校准，提出了提高模型置信度和准确性的有效方法。实验结果表明，校准显著提升了模型表现，并探讨了不同模型在概率估计中的一致性问题，提出了新框架以改善输出评估的可信度。

本研究提出了ConTestS框架，解决语言模型概率估计的一致性问题。实验结果表明，Masked Language Models与自回归模型在预测一致性上存在显著差异，自回归模型的不一致性更为明显，为未来研究提供了指导。