基于上下文分解的 Transformer 中的机制解释

BriefGPT - AI 论文速递 · 2024-07-01T00:00:00Z

本文介绍了一种普适的校准方法，用于调整Transformer模型中的上下文驱动分布变化。通过评估预测残差与上下文之间的互信息，量化模型对CDS的脆弱性。提出了一个简单但有效的模型校准框架，实现偏差和方差的最佳平衡。实验证明该方法增强了Transformers在真实世界数据集上的性能。