Unlocking the Potential of Large Language Models as Multimodal Encoders for Text and Graph-Structured Data

💡 原文英文,约100词,阅读约需1分钟。
📝

内容提要

研究提出了Janus框架,通过大型语言模型整合图和文本数据,利用对比学习对齐模态空间,在问答任务中性能提升最高达11.4%。

🏷️

标签

➡️

继续阅读