不确定性感知耠
内容提要
本文介绍Perceiver系列模型：利用无关系假设的Transformer将大输入压缩至潜在瓶颈，在图像、点云、音频、视频等分类任务上达到领先性能。后续研究提出Perceiver IO、Perceiver AR及Uni-Perceiver，提升效率与多模态统一建模能力。另有研究探讨深度分类器的不确定性估计，发现ViT架构表现最优。
延伸解读
Perceiver 系列的核心创新
Perceiver 通过迭代地将大输入压缩到紧凑的潜在瓶颈，利用无关系假设的 Transformer 处理多种模态数据，在图像、点云、音频、视频等分类任务上达到领先性能。后续的 Perceiver IO 引入灵活查询机制，能处理任意领域数据并推理多种任务；Perceiver AR 则通过跨注意力自动学习长期依赖，无需人工设计稀疏模式。这些演进共同提升了模型效率与通用性。
不确定性估计中的架构优势
在深度分类器的不确定性估计研究中，ViT 架构表现最优。对 523 个深度图像分类器的考察发现，蒸馏型训练方案普遍比其他方案具有更好的不确定性估计能力。另一项针对 484 个预训练 ImageNet 分类器的全面研究也证实，ViT 在选择性预测和不确定性估计性能上超过其他模型，这为高风险场景下的模型选择提供了参考。
不确定性感知注意力的应用
通过引入输入相关的不确定度，变分推断被用于学习不确定性感知注意力机制，使模型能为不确定的实例分配更大方差。该方法在不同高风险预测任务中验证了有效性，评估显示模型生成的注意力符合临床医生的解释，并通过学习方差提供更丰富的解释。此外，在智能车辆环境感知中，一阶段目标检测器可同时估计不确定性和改善检测性能，输出不确定性与检测准确度和行人遮挡水平相关。
Q&A
Perceiver模型的核心创新是什么？
Perceiver利用不对关系进行假设的Transformer，通过迭代地将输入压缩到一个紧凑的潜在瓶颈中，从而能够处理非常大的输入，并在图像、点云、音频、视频等多个模态的分类任务中达到与最佳模型相当的性能。
Perceiver IO相比传统Transformer有哪些优势？
Perceiver IO具有灵活的查询机制，能够处理来自任意领域的数据并对多种任务进行推理，其性能表现优于传统的Transformer-based BERT基准测试，并在Sintel光流估计方面取得了最先进的性能。
在深度图像分类器中，哪种架构在不确定性估计方面表现最优？
ViT架构在不确定性估计性能方面表现最优，超过了其他模型。
如何提高Perceiver模型的推理效率？
通过减少推理情况下的查询数量Q，可以在限制精度降低的同时，进一步提高Perceivers的效率，以解决网络复杂度和推理时间的问题。
Uni-Perceiver的主要目标是什么？
Uni-Perceiver旨在使用通用感知架构进行多个任务和多个模态的统一建模和共享参数，在预训练和微调的阶段都表现出了可接受的结果和表现。
Perceiver AR模型有什么特点？
Perceiver AR使用跨注意力机制构建，可自动学习高维的图像和音乐数据中的长期依赖关系，并在图像和书籍的测试中取得最优的结果，而无需人为设计稀疏模式或记忆机制。
