BriefGPT - AI 论文速递
·
Unlocking the Potential of Large Language Models as Multimodal Encoders for Text and Graph-Structured Data
💡
原文英文，约100词，阅读约需1分钟。
📝
内容提要
研究提出了Janus框架，通过大型语言模型整合图和文本数据，利用对比学习对齐模态空间，在问答任务中性能提升最高达11.4%。
🎯
关键要点
- 研究提出了Janus框架，解决了现有方法在整合图和文本嵌入方面的局限性。
- Janus框架利用大型语言模型共同编码文本和图数据。
- 通过对比学习有效对齐图和文本的模态空间。
- 在问答任务中，性能提升最高达11.4%。
- 这项工作对文本和图数据的集成具有重要影响。
➡️
