JoyCaption Alpha One是一款训练速度快、只需8.5GB VRAM的图像字幕模型。它具有多种功能，支持批量处理和多GPU字幕生成。可以从指定链接下载安装。

研究发现图像字幕模型能够生成与掩蔽图像密切相关的字幕，即使在存在掩蔽的情况下，模型仍能生成描述性的文本信息。模型的解码性能随着掩蔽区域面积的增加而下降，但在没有大面积掩蔽的情况下，模型表现良好。

本研究提出了VisualGPT，一种数据高效的图像字幕模型，通过利用预先训练的语言模型中的语言知识，在少量领域训练数据上快速适应预训练的语言模型，并通过稀疏激活单元减少了零梯度的影响。在MSCOCO和Conceptual Captions数据集上进行训练，结果表明在MS COCO上的CIDEr得分最好的基线模型高达10.8％，在Conceptual Captions上高达5.4％，并在医学报告生成数据集IU X-ray上取得了最新的结果。

通过建立图像字幕模型和品牌个性化社交媒体字幕生成模型的流水线解决方案，提出了一种协助品牌创作符合图像和品牌个性的吸引人社交媒体字幕的方法。方法在评估中证明了其有效性。

通过研究人类注视和深度神经网络注意力机制之间的相互作用，提出了一种新的注视辅助图像字幕模型，能够改善图像字幕性能，并提高语义场景理解的任务。

本研究提出了VisualGPT，一种数据高效的图像字幕模型，利用预训练的语言模型中的语言知识，在少量领域训练数据上快速适应预训练的语言模型。通过稀疏激活单元减少了零梯度的影响。在MSCOCO和Conceptual Captions数据集上训练，结果表明，在MS COCO上的CIDEr得分最高达10.8％，在Conceptual Captions上达到5.4％，并在医学报告生成数据集IU X-ray上取得了最新的结果。