DECIDER: 利用基础模型先验提高模型失败检测和解释能力
内容提要
本文提出了一种基于词典的约束解码方法DECIDER，旨在通过特定目标概念控制生成文本的意义和风格。研究表明，该方法能有效引导生成结果，提升大型语言模型的决策性能。此外，介绍了选择性去偏差方法和成本敏感的推迟框架DeCCaF，以提高模型的预测性能和公平性，减少错误分类成本。
延伸解读
DECIDER 的规则可控解码机制
DECIDER 是一种基于词典的约束解码方法，其核心是通过特定目标概念控制生成文本的意义或风格。该方法受到双系统认知理论启发，实验证明它能以更接近人类的方式遵循给定规则，从而有效引导生成方向。这意味着在需要精确控制模型输出的场景中，DECIDER 提供了一种可行的技术路径。
选择性去偏差：推断时的公平性提升
选择性去偏差是一种推断时安全机制，适用于重新训练模型被禁止的情况。它通过识别可能存在偏差的预测，并使用后处理去偏差方法 LEACE 进行处理，而非直接丢弃。基于 KL 散度的偏差量化方法比标准 UQ 方法更好。实验表明，该方法有助于弥合后处理与训练中去偏差技术之间的性能差距。
DeCCaF：成本敏感场景下的推迟框架
DeCCaF 是一种新的学习推迟（L2D）框架，旨在解决现有研究忽略的错误成本敏感、需要并发人类预测以及人类工作能力限制等问题。它采用监督学习建模人类错误概率，满足更宽松的数据要求，并使用约束编程在工作负载限制下全局最小化错误成本。在成本敏感型欺诈检测场景中，DeCCaF 平均减少了 8.4% 的错误分类成本。
Q&A
DECIDER方法的主要目标是什么？
DECIDER方法旨在通过特定目标概念控制生成文本的意义和风格。
选择性去偏差方法是如何提高模型性能的？
选择性去偏差方法通过识别偏差预测并使用后处理去偏差方法LEACE进行处理，从而提高模型的预测性能和公平性。
DeCCaF框架在欺诈检测中有什么优势？
DeCCaF框架在成本敏感型欺诈检测场景中表现显著优于基准方案，平均减少了8.4%的错误分类成本。
DECIDER如何引导生成结果？
DECIDER能够以更接近人类的方式遵循给定的规则，引导生成方向，有效控制生成结果。
选择性去偏差方法与标准方法相比有什么优势？
选择性去偏差方法的效果优于标准方法，能够更好地处理偏差预测。
DECIDER方法的应用领域有哪些？
DECIDER方法在商业、工程和医学等领域日益广泛应用。
