BriefGPT - AI 论文速递
·
Unlocking the Potential of Large Language Models as Multimodal Encoders for Text and Graph-Structured Data
原文英文，约100词，阅读约需1分钟。
📝
内容提要
研究提出了Janus框架，通过大型语言模型整合图和文本数据，利用对比学习对齐模态空间，在问答任务中性能提升最高达11.4%。
🎯
关键要点
-
研究提出了Janus框架，解决了现有方法在整合图和文本嵌入方面的局限性。
-
Janus框架利用大型语言模型共同编码文本和图数据。
-
通过对比学习有效对齐图和文本的模态空间。
-
在问答任务中，性能提升最高达11.4%。
-
这项工作对文本和图数据的集成具有重要影响。
🏷️
