细节不落下：重新审视细粒度图像描述中的自我检索

BriefGPT - AI 论文速递 · 2024-09-04T00:00:00Z

本研究提出了VisualGPT，一种数据高效的图像字幕模型，通过利用预先训练的语言模型中的语言知识，在少量领域训练数据上快速适应预训练的语言模型，并通过稀疏激活单元减少了零梯度的影响。在MSCOCO和Conceptual Captions数据集上进行训练，结果表明在MS COCO上的CIDEr得分最好的基线模型高达10.8％，在Conceptual Captions上高达5.4％，并在医学报告生成数据集IU X-ray上取得了最新的结果。