面向所有人的漫画:为漫画条目生成易读的文本描述
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
本文介绍了一种新方法,将人名加入生成文本。通过 OCR 识别图像中的文字并 fine-tuning 预训练模型,同时修改了之前的多模态框架,接受来自任意数量的辅助分类器提供的相关信息。同时,创建了一个新的图像-标题数据集,名为 PAC,包含了一些知名人物的图像和对这些图像的描述,这些描述中包含了人名。
🎯
关键要点
- 介绍了一种将人名加入生成文本的新方法。
- 使用 OCR 识别图像中的文字并 fine-tuning 预训练模型。
- 修改了之前的多模态框架,接受来自任意数量的辅助分类器提供的信息。
- 创建了一个新的图像 - 标题数据集,名为 PAC。
- PAC 数据集包含知名人物的图像及其描述,这些描述中包含人名。
➡️