EchoCoT攻击论文揭示,通过API返回的推理元数据,可从黑盒大推理模型中提取隐藏思维链,开源模型近逐字保真,闭源模型长度贴近。攻击利用工具调用间隙,无需改变答案。防御性提示词可降低成功率,但存在残余缺口,风险真实存在。
本研究探讨了网络入侵检测系统中黑盒人工智能模型的可解释性,提出使用白盒可解释技术,并评估LRP、IG和DeepLift在多个数据集上的表现,结果表明白盒技术在鲁棒性和完整性方面优于黑盒技术。
本研究提出了 extsc{BProm}方法,通过视觉提示识别黑盒模型中的后门,解决了干净数据集与污染数据集的类子空间不一致性问题,实验结果验证了其有效性。
本文探讨了黑盒机器学习模型的可解释性,提出了多种方法,如基于模拟退火的程序归纳、if-then规则学习和混合模型设计。研究强调在解释模型时需考虑底层分布,并提供了评估可解释性的框架和标准,以推动该领域的研究与应用。
本文介绍了inTrees框架,通过提取和选择树集合中的规则,提高模型的可解释性。该框架适用于分类和回归问题,涵盖随机森林和梯度提升树等多种模型。研究提出了多种方法生成模型的局部解释,增强对黑盒模型的理解,并通过实验验证了这些方法的准确性和性能。
本文探讨机器学习模型的可解释性,提出多种方法以提高透明度。研究表明,决策树和逻辑回归模型比神经网络更易于解释。通过交互式学习和新方法,旨在改善黑盒模型的解释能力,并强调底层分布对解释复杂性的影响。
本文探讨了使用决策树解释黑盒模型的方法,提出了一种新算法以避免过拟合,提升模型的准确性和可解释性。同时,研究了基于强化学习的优化方法,解决混合整数线性规划中的变量选择问题,证明了其在性能和可解释性上的优势。
本文探讨了影响函数技术在黑盒模型中的应用,证明其在非凸和不可导模型中也能提供有价值的信息。研究表明,影响函数可用于模型调试、错误检测及训练集攻击等方面。通过改进算法,提升了影响函数的运行效率,并提出了新方法LIFT和InjectTST,显著提高了多元时间序列预测的性能。
本文提出了一种基于Shapley值的可解释框架,旨在提高机器学习模型的透明度和可信度。通过GRAPHSHAP和EmSHAP等方法,研究了有效解释黑盒模型预测结果的方式。实验结果表明,这些方法在准确性和效率上优于传统技术,能够为医学和工业应用提供更高的估计精度。
本文提出了一种基于鲁棒性分析的特征解释评估标准,并通过多领域实验验证其有效性。研究了黑盒模型的可解释性,强调了不同子组解释质量的公平性挑战及现有评估指标的局限性。
人工智能广泛应用于各个领域,深度学习是其中重要的分支。然而,深度学习模型缺乏可解释性,即理解模型的决策过程。为了解决这个问题,出现了可解释人工智能领域。本文介绍了深度学习的基础知识、可解释性问题以及一个代码示例。
本文评估了 RemOve-And-Retrain (ROAR) 协议的可靠性,发现其性能指标不受决策函数信息影响,并提出了 DoRaR 特征归属方法,以提高黑盒模型的透明度。同时,研究提出了 ART 训练方法,显著增强了解释的鲁棒性,并在多个数据集上取得最佳性能。此外,介绍了 eXplanation-based Counterfactual Retraining (XCR) 方法,旨在优化黑盒模型并解决解释性人工智能的问题。
该研究探讨了通过学习if-then规则来提高黑盒机器学习模型的透明度和可解释性,提出了交互式叠加和基于规则的系统。研究强调了在医学领域理解和信任AI的重要性,并介绍了新的异常检测框架和可解释性方法,展示了其在多个领域的优越性能。
本文探讨了多语言知识编辑的适应性,指出现有方法在英语上表现良好,但在多语言环境中的泛化能力有限。研究提出了新的评估框架和方法,以提高知识编辑的性能和风格保留,尤其是在黑盒大语言模型中。通过对比分析,提出的DeCK方法增强了模型对编辑知识的置信度,为知识编辑的有效性提供了新思路。
本文探讨了多种可解释人工智能(XAI)模型和框架,旨在提升人类与自主系统之间的理解与信任。研究内容包括生成自然语言解释、评估可解释性模型的标准,以及增强黑盒模型解释的鲁棒性。实验结果表明,这些方法在自然语言理解和分类决策中表现优异,推动了可解释性研究的发展。
本文介绍了一种名为MAYA的多粒度攻击方法,能够生成高质量的对抗样本,并通过强化学习训练攻击代理以减少查询次数。实验结果表明,该方法在黑盒模型攻击中表现优越,生成的对抗样本更流畅且符合语法规则。
该文综述基于概念的神经网络可解释性研究,涵盖概念激活向量、GNN神经元概念探测、Agglomerator层次框架、VRX视觉推理、人机交互界面及知识感知解释等方法,旨在将黑盒模型转化为可理解的概念级表示,提升透明性与性能。
该文综述多种黑盒模型可解释性方法:ConceptDistil通过知识蒸馏提供概念解释;结合神经网络内在特征与归纳逻辑构建符号模型;概念敏感训练减少偏差;决策树用于全局解释;因果先验图消除混淆;基于熵的可微方法提取逻辑解释;DISSECT自动发现概念并检测偏见;结构因果模型作对比解释;概率反事实提供补救措施;自解释模型实现无监督概念学习。
本文提出了通过敌对训练生成稳健高保真黑盒模型解释的新框架。实验结果显示该方法在分布偏移下具有稳定性和鲁棒性,且不牺牲解释保真度。
局部依赖图(PDP)用于分析单个特征与目标之间的关系,通过计算期望值来解释模型中单特征的影响。对于数值型特征,方差可作为重要性衡量;对于类别型特征,则可用特定公式近似。PDP适用于黑盒模型,但仅限于两个特征的解释,并依赖于数据分布,可能隐藏某些影响。
完成下面两步后,将自动完成登录并继续当前操作。