pyvene：通过干预理解和改进 PyTorch 模型的开源库
内容提要
该研究利用生成模型和深度学习构建物理系统的仿真模型，提出了新方法ViTree用于细粒度视觉分类，增强了模型的可解释性。通过可视化分析系统EL-VIT，帮助用户理解ViT的工作机制，并提出“深度视觉解释”框架以提高深度学习模型的可解释性。此外，研究介绍了VL-InterpreT工具，展示多模态转换器的注意力和隐藏表示。
延伸解读
ViTree：可解释细粒度分类的新思路
ViTree将视觉Transformer与神经决策树结合，用于细粒度视觉分类。它通过遍历树路径从Transformer特征中选择补丁，突出有信息的局部区域，逐步改进表示。与依赖软分布或路径集合的树模型不同，ViTree选择单一树路径，决策过程更清晰简单。这种补丁和路径选择性增强了可解释性，实验证明其超越了强竞争对手，在保持卓越可解释性的同时取得了最新性能。
可视化工具助力理解ViT与多模态Transformer
EL-VIT是一个交互式可视化分析系统，通过四个层次的可视化视图展示ViT的模型架构、操作过程、数学运算以及计算图块间的余弦相似度，帮助用户理解ViT工作机制。VL-InterpreT则针对多模态Transformer，跟踪注意力头统计信息、可视化跨模态和内模态注意力热力图，并绘制视觉和语言标记的隐藏表示，使用KD-VLP模型在VCR和WebQA基准上展示功能，并揭示了多模态Transformer行为的有趣发现。
提升深度学习可解释性的多种探索
文章介绍了多种提升可解释性的方法：深度视觉解释框架通过可视化技术识别和暴露模型性能行为的假设，提高可解释性和可调试性；IA-ViT通过单头自注意机制提供忠实解释，应用于图像分类任务；Xplique软件库帮助打开黑盒模型，揭示决策策略、内部状态或数据表示，并与TensorFlow等主流库接口。此外，在医学影像领域，Transformer的逐层相关传播法在准确可靠表示ViT所学方面优于其他解释方法。
Q&A
ViTree方法如何增强模型的可解释性？
ViTree结合视觉转换器和神经决策树，通过选择特征补丁和遍历树路径，提供更清晰的决策过程，从而增强模型的可解释性。
EL-VIT系统的主要功能是什么？
EL-VIT是一个交互式可视化分析系统，帮助用户理解ViT的工作机制，通过多层次的可视化视图展示模型架构和操作过程。
什么是深度视觉解释框架？
深度视觉解释框架通过可视化技术识别和暴露深度学习模型的性能行为假设，以提高模型的可解释性和可调试性。
VL-InterpreT工具的作用是什么？
VL-InterpreT工具提供多模态转换器的注意力和隐藏表示的解释，帮助用户理解模型在视觉问答基准中的表现。
该研究使用了哪些技术来构建仿真模型？
该研究使用生成模型和深度学习，结合确定性编码器、解码器和归一化流来构建基于物理系统的仿真模型。
ViTree与传统基于树的模型相比有什么优势？
ViTree选择单一树路径进行决策，提供更清晰简单的决策过程，相比于传统模型，增强了可解释性并提高了性能。
