通过正则化、置信度最小化和选择性推断校准贝叶斯学习
原文中文，约1400字，阅读约需4分钟。
📝
内容提要
本文介绍了校准感知贝叶斯神经网络（CA-BNN）框架，结合数据独立和相关正则化优化贝叶斯学习。提出的校准鲁棒微调（CaRot）方法通过引入校准项和新型损失函数，提升了预训练视觉-语言模型的校准性和鲁棒性，实验结果表明该方法在多个基准问题上表现优越。
🔎
延伸解读
校准与鲁棒性的权衡
文章指出，在预训练视觉-语言模型的微调中，释放模型潜力与保持分布偏移下的鲁棒性之间存在权衡。CaRot方法通过引入校准项和新型损失函数，试图在内部数据和外部数据集上同时提升校准性和鲁棒性，这为实际应用中平衡模型性能与可靠性提供了新思路。
贝叶斯神经网络的正则化策略
CA-BNN框架结合了数据独立正则化和数据相关正则化来优化变分分布，并在期望校准误差和可靠性图中验证了其优越性。这种双重正则化策略有助于更准确地估计后验不确定性，为贝叶斯深度学习提供了一种有效的优化途径。
解决深度网络过度自信
针对深度神经网络预测置信度过度自信的问题，文章提出了一种基于随机推断的通用校准方法，并设计了方差加权的置信度综合损失函数。实验表明，该方法在不同模型和数据集上均能有效改善置信度校准，且适用于现有计算流程，具有较好的实用性和可扩展性。
❓
Q&A
什么是校准感知贝叶斯神经网络（CA-BNN）框架？
CA-BNN框架结合数据独立和相关正则化，以优化贝叶斯学习中的变分分布。
校准鲁棒微调（CaRot）方法的主要作用是什么？
CaRot方法通过引入校准项和新型损失函数，提高预训练视觉-语言模型的校准性和鲁棒性。
CaRot方法在实验中表现如何？
实验结果表明，CaRot方法在多个基准问题上表现优越，验证了其有效性。
如何解决深度神经网络的过度自信问题？
通过设计基于方差加权的置信度综合损失函数，有效解决了深度神经网络的过度自信问题。
引入校准项对神经模型训练有什么影响？
引入校准项可以提高后验不确定性估计的准确性，改善模型的推断能力。
CA-BNN框架的优势是什么？
CA-BNN框架在期望校准误差和可靠性图中验证了其优越性，优化了贝叶斯学习。
🏷️
