CIC: 一种文化感知的图像描述框架
内容提要
该文综述图像字幕生成研究，涵盖可控字幕、美学字幕数据集、用户自适应、半监督标注、多模态融合、跨语言理解、问题敏感字幕、模型评估、委员会共识及可迁移解码等方法，以提升字幕质量与跨域性能。
延伸解读
可控字幕的语义角色方法
文章提出了一种基于可控图像字幕（CIC）的新控制信号，包括顶点特定语义角色（VSR）。通过基于地面的语义角色标记模型（GSRL）训练来确定所有实体对于每个角色，并借助语义结构计划器（SSP）学习像人类一样的描述性语义结构，最后使用角色转移字幕模型生成字幕。这种方法旨在提升字幕生成的细粒度控制能力。
美学字幕数据集的构建与弱监督学习
文章介绍了如何通过自动清洗策略利用网站图片和嘈杂评论创建用于美学图像标题生成的基准数据集（AVA-Captions）。同时提出了一种概率的标题过滤方法，以及利用美学属性间潜在关联性进行卷积神经网络特征提取器训练的策略。该策略是弱监督的，无需昂贵标注即可学习丰富的美学表示，并通过自动度量和主观评价进行了全面分析。
用户自适应与半监督标注技术
文章探讨了通过人工反馈训练图像字幕模型，使其适应特定用户数据，并采用稀疏记忆重播组件避免灾难性遗忘，从而实现自定义图像字幕模型。此外，还提出了一种利用CLIP模型进行半监督图像标注的方法，包括图像编码器、映射网络和语言模型，通过对比生成的标题和实际标题，并使用未标记图像进行二次训练，得到了与完整数据集训练的业界最先进模型相比可比的性能，且标题更加独特、信息量更大，并符合人类偏好。
跨语言理解与可迁移解码模型
文章介绍了ICU（图像字幕理解）方法，将视觉与语言任务分为两个阶段：V&L模型用英语进行图像字幕生成，然后将字幕作为交替文本，由多语言语言模型进行跨语言语义理解。在IGLUE基准测试的9种语言中，ICU在五种语言上取得新的最先进结果。另外，ViECap是一种可转移的解码模型，利用实体感知解码生成见过和没见过的场景中的描述，通过实体感知的硬提示将LLMs的注意力引导到图像中存在的视觉实体，实现了跨多样场景的连贯字幕生成，在跨域字幕生成方面达到最新水平。
Q&A
CIC框架中使用了哪些控制信号来生成图像描述？
CIC框架中使用了顶点特定语义角色（VSR）作为控制信号，通过基于地面的语义角色标记模型（GSRL）训练来确定所有实体对于每个角色，并借助语义结构计划器（SSP）学习像人类一样的描述性语义结构，最后使用角色转移字幕模型生成字幕。
AVA-Captions数据集是如何创建的？
AVA-Captions数据集是通过使用基于网站提供的图片和嘈杂评论的自动清洗策略创建的，用于美学图像标题生成。同时采用了概率的标题过滤方法，并利用美学属性间的潜在关联性进行卷积神经网络（CNN）特征提取器的训练，该策略是弱监督的，无需昂贵的标注。
如何让图像字幕模型适应特定用户？
通过人工反馈训练图像字幕模型，使其适应特定用户数据，并采用稀疏记忆重播组件避免灾难性遗忘，从而实现自定义图像字幕模型。
半监督图像标注方法是如何利用CLIP模型的？
该方法利用CLIP模型进行半监督图像标注，包括图像编码器、映射网络和语言模型。通过对比生成的标题和实际标题，并使用未标记的图像进行二次训练，得到了与完整数据集训练的业界最先进模型相比可比的性能，且标题更加独特、信息量更大，并且符合人类的偏好。
ICU方法如何实现跨语言图像字幕理解？
ICU将视觉与语言（V&L）任务分为两个阶段：首先用英语进行图像字幕生成，然后将字幕作为交替文本，由多语言语言模型（mLM）进行跨语言语义理解。在IGLUE基准测试的9种语言中，ICU在五种语言上取得了新的最先进结果，并为其他语言取得可比较的结果。
ViECap模型如何实现可转移的图像字幕生成？
ViECap是一种可转移的解码模型，利用实体感知解码生成见过和没见过的场景中的描述。它通过实体感知的硬提示将LLMs的注意力引导到图像中存在的视觉实体，实现了跨多样场景的连贯字幕生成。在域内到域外的场景转移中保持性能，在跨域字幕生成方面达到最新水平，并与以前基于VLMs的零样本方法在域内字幕生成方面有竞争力。
