晓飞的算法工程笔记
·
ATC：多快好省，无参数token reduction方法 | ECCV'24 - 晓飞的算法工程笔记
💡
原文中文，约1600字，阅读约需4分钟。
📝
内容提要
本文介绍了一种新型的无参数聚类方法——层次 token 聚类（ATC），其在图像分类、合成和目标检测任务中表现优于传统的 token 合并和修剪技术，尤其在低保留率场景下效果显著，且无需微调即可达到先进性能。
🎯
关键要点
- 提出了一种新型的无参数层次合并的 token 减少方法——层次 token 聚类（ATC）。
- ATC 在图像分类、图像合成、目标检测和分割任务中表现优于传统的 token 合并和修剪方法。
- ATC 在低保留率场景下效果显著，能够在未经过微调的情况下达到先进性能。
- ATC 通过自下而上的层次聚类合并冗余 token，保持或提升 ViT 模型性能。
- 层次聚类方法使用余弦距离作为距离度量，并考虑静态缩减场景。
- 连结函数的选择对聚类方式有重要影响，主要有单个、完整和平均三种。
- 在达到停止标准后，通过加权平均更新聚类表示，以更好地捕捉空间范围。
❓
延伸问答
层次 token 聚类（ATC）是什么？
层次 token 聚类（ATC）是一种新型的无参数层次合并的 token 减少方法，旨在合并冗余 token，同时保持或提升 ViT 模型的性能。
ATC在图像处理任务中的表现如何？
ATC在图像分类、图像合成、目标检测和分割任务中表现优于传统的 token 合并和修剪方法，尤其在低保留率场景下效果显著。
ATC如何实现无微调的先进性能？
ATC能够在未经过微调的情况下，达到与之前微调的最先进性能相当的效果，主要得益于其自下而上的层次聚类方法。
ATC使用了什么样的距离度量？
ATC使用余弦距离作为距离度量，并考虑静态缩减场景来进行聚类。
ATC的连结函数选择有哪些？
ATC主要有三种连结函数选择：单个、完整和平均，这些选择对聚类方式有重要影响。
ATC在低保留率场景下的优势是什么？
在低保留率场景下，ATC能够有效合并少量的 token，同时保持任务性能，这在传统方法中较为困难。
➡️
