BriefGPT - AI 论文速递 · 2024-08-23T00:00:00Z

IAA：内适配器架构赋能冻结的大型语言模型实现多模态能力

📝

内容提要

本研究解决了冻结大型语言模型在多模态任务中性能不足的问题，通过引入内适配器架构（IAA），在语言模型中不同深度引入多个多模态适配器，实现文本与视觉的直接交互。研究结果显示，该架构在小规模数据集上表现优越，显著提升了多模态能力和视觉定位能力，同时在自然语言处理任务上未造成性能下降。

🏷️

标签

大型语言模型 适配器