本文介绍了FailSafeQA,一个针对金融问答系统的新基准,重点测试复杂边缘案例和意外查询,揭示了当前模型在金融问答中的显著缺陷。
该研究提出广义关联记忆(GAR)作为新基准,针对大型语言模型在组合关系推理(CRR)任务中的不足,揭示了现有模型的根本缺陷,并识别了模型重用的核心电路和关键注意力头。
介绍了一种无需匹配实体或关系的方法,将知识从一个事实集合转移到另一个集合,适用于各种知识库。通过大规模预训练提升了特定领域数据的预测能力,在小数据集上效果显著。引入了Doge数据集,用于分析开放知识库模型,揭示现有模型的不足。
该论文提出了一种基于语义对抗攻击的方法SIA,通过在预定义的语义属性空间和图像空间上的迭代梯度上升来结合语义追踪和感知质量,解释和分析模型缺陷。该方法在模型诊断、攻击成功率和不平衡数据鲁棒性方面具有应用前景。
完成下面两步后,将自动完成登录并继续当前操作。