💡
原文中文，约3400字，阅读约需8分钟。
📝
内容提要
北京大学彭宇新团队提出了分类感知表征对齐方法TARA，旨在解决多模态大模型在生物类别分层识别中的挑战，提升细粒度和分层视觉识别的准确率。该方法通过对齐大模型与生物基础模型的表征，注入类别树知识，从而增强模型的识别能力。
🎯
关键要点
-
北京大学彭宇新团队提出分类感知表征对齐方法TARA，旨在解决多模态大模型在生物类别分层识别中的挑战。
-
TARA通过对齐大模型与生物基础模型的表征，注入类别树知识，提升细粒度和分层视觉识别的准确率。
-
现有多模态大模型在细粒度视觉识别上表现出色，但在依赖类别树知识的分层视觉识别任务上仍存在挑战。
-
主要挑战包括同层判别性差、跨层一致性差和新类泛化性差。
-
TARA方法包含分层视觉表征对齐和自由粒度类别表征对齐两个主要部分。
-
实验结果表明，TARA能增强现有大模型的细粒度视觉识别能力和分层视觉识别能力。
-
TARA通过对齐大模型与生物基础模型的中间表征，注入类别树结构知识，提升每一层的识别准确率。
-
该研究成果已被CVPR 2026接收，并已开源。
➡️
