小型语言模型与增强式视觉词汇的相遇
原文中文，约400字，阅读约需1分钟。发表于：。在这篇论文中，我们提出了一个小型的 Vary-toy 模型，它基于 Qwen-1.8B，通过引入改进的视觉词汇表，利用物体检测驱动的积极样本数据替换自然图像的负样本，使模型具备 Vary 的所有特征，并更充分地利用词汇网络的容量，从而能够高效地编码与自然物体对应的视觉信息。在实验中，Vary-toy 在 DocVQA 上可以达到 65.6% 的 ANLS，ChartQA 上可以达到...
本论文提出了一个小型的Vary-toy模型，通过改进的视觉词汇表和物体检测驱动的积极样本数据，使模型具备Vary的特征并更充分地利用词汇网络的容量，从而高效地编码与自然物体对应的视觉信息。实验结果显示，Vary-toy在不同任务上的准确率分别为65.6%、59.1%、88.1%和29%。
