大语言模型中量化不确定性的问题改述：在分子化学任务中的应用
内容提要
这项研究探讨了大型语言模型中的不确定性量化，提出了新的度量标准以评估生成解释的可靠性。研究发现，口头化不确定性不可靠，而探测不确定性与解释忠实度相关。通过实证分析，提出了Two-phase Verification方法，旨在提高医学问答中的不确定性估计，结果显示该方法在准确性和稳定性上优于现有技术。
延伸解读
口头化不确定性与探测不确定性的区别
文章提出两个新度量标准：口头化不确定性和探测不确定性。实证分析表明，口头化不确定性不是可靠的解释置信度估计，而探测不确定性与解释的忠实度相关，较低的不确定性对应较高的忠实度。这意味着在实际应用中，不能仅依赖模型自我报告的不确定性，而应通过探测方法评估解释的可靠性。
医疗问答中不确定性估计的挑战
在医学问答领域，现有不确定性估计方法表现普遍较差，这凸显了医疗应用中的特殊挑战。研究还发现较大模型往往产生更好的结果，暗示模型大小与不确定性可靠性之间存在相关性。因此，在部署LLM于医疗场景时，需谨慎选择不确定性估计方法，并考虑模型规模的影响。
Two-phase Verification方法的优势
针对医疗问答中不确定性估计的挑战，文章提出了Two-phase Verification方法。该方法首先生成逐步解释和初始回答，然后通过验证问题检查解释中的事实主张，利用两组答案的不一致性衡量不确定性。在三个生物医学问答数据集上，该方法在准确性和稳定性上优于基准，且性能随模型增大而提升。
Q&A
什么是口头化不确定性和探测不确定性？
口头化不确定性不是可靠的解释置信度估计，而探测不确定性与解释的忠实度相关，较低的不确定性对应于较高的忠实度。
Two-phase Verification方法的主要目的是什么？
Two-phase Verification方法旨在提高医学问答中的不确定性估计，强调医疗应用中不确定性估计的挑战。
研究发现模型大小与不确定性可靠性之间有什么关系？
研究发现较大模型往往产生更好的结果，暗示模型大小与不确定性可靠性之间存在相关性。
Two-phase Verification方法是如何工作的？
该方法通过生成解释和验证问题来检测不确定性，模型对验证问题进行两次回答，以衡量原始回答的不确定性。
在医学问答中，当前的不确定性估计方法表现如何？
目前的方法在医学问答领域的表现普遍较差，强调了医疗应用中不确定性估计的挑战。
研究中提出的新的不确定性量化标准有什么意义？
新的不确定性量化标准为量化大型语言模型解释的不确定性提供了新的视角，有助于探讨基础模型的可靠性。
