本研究探讨了二分类问题中ROC曲线和PR曲线的几何特性，揭示了选择最优操作点以优化分类器和提高决策准确性的方法，强调了模型校准和成本敏感优化的重要性。

随着大模型在电商领域的应用，评估其专业知识成为挑战。ChineseEcomQA基准涵盖20个行业和1800个问答，确保数据质量。DeepSeek-R1和V3表现最佳，显示出大模型在电商的潜力。研究表明，RAG策略显著提升模型能力，强调改进模型校准以减少错误。

本研究提出了一种新颖的交通仿真模型校准技术，利用随机仿真方法在复杂环境中进行局部校准，仅需交通计数数据。实验结果表明，该方法的模型准确性比现有技术提高了16%。

本研究探讨了文本到SQL系统中的错误检测信心估计问题，提出了一种新方法，通过熵分析将选择性分类器集成到系统中，以改进模型校准。实验结果表明，选择性分类器在识别错误方面更为有效。

本研究探讨大型语言模型（LLMs）在与人类交互时的不确定性表达问题。现有模型因过度自信而导致错误，影响用户信任。研究提出新的框架，通过评估多个候选答案的可信度，改善模型的校准能力。实验表明，该方法显著提高了模型输出的准确性和用户信任，尤其在高风险应用中至关重要。

本文研究了概率预测模型的校准方法，提出了直方图分箱、概率校准树和简化校准方法等技术，以提高分类器的准确性和可靠性。研究表明，这些方法在不同场景下有效降低校准误差，尤其适用于高风险决策中的概率估计。

本研究探讨了多语言预训练语言模型的结构化剪枝，提出了一种动态稀疏化方法以适应不同模型大小。研究表明，温度缩放和标签平滑等技术能有效提高模型在零样本场景下的校准性，并提出了LLM-Pruner方法以压缩模型，同时保持其性能。此外，通过实证研究评估了校准数据对LLM性能的影响，并提出了改进校准性的策略。

本研究探讨了大型语言模型（LLMs）的自信度及其可靠性，揭示了在高自信度下模型可能出现错误回答的现象。提出了MONITOR度量方法来评估模型的一致性，并发现用户对模型可信度的感知受到解释的影响。研究强调了改进模型置信度估计的重要性，并提出了一个新框架以全面评估多个答案的可信度，从而提升模型的校准能力。

本研究提出了一种基于神经网络的机器翻译质量不确定性评估方法，结合蒙特卡罗 dropout 和深度集成，验证了其在多语种数据上的性能。研究探讨了不依赖参考文献的评估在发现翻译错误中的应用，并提出了评估模型校准的工具。

本文介绍了一种基于条件风险价值（CVaR）的机器学习模型校准框架，旨在通过多重假设检验优化风险控制。提出的算法在凸和非凸损失函数下均表现良好，有效最小化CVaR，并强调在高风险应用中准确评估模型失败概率的重要性。实验验证了该方法的有效性和实用性。

本文探讨了通过Laplace-LoRA方法对大型语言模型进行贝叶斯微调，以提高模型的校准性和泛化能力。研究表明，结合低秩自适应和高斯随机权重平均的方法能有效改善模型在小数据集上的表现，增强鲁棒性，并在多个自然语言处理任务中取得良好效果。

本文探讨了机器学习模型的校准问题，提出了多种度量标准以更准确地反映标定误差，并评估了常用神经网络的校准技术。研究表明，校准性能依赖于度量方法，并提出了新框架和模糊校准误差度量，以提高大型语言模型的校准能力和可靠性。

研究表明，现有大型语言模型（LLMs）在事实知识的广度和准确性上存在不足，影响其可靠性。通过基准测试评估模型的知识召回能力，发现模型规模和指令调整对性能有显著影响。提出了新的方法来校准和增强模型的事实知识，并强调了多语言模型在知识一致性方面的挑战。