DEV Community
·
🧠 图表转图：微调视觉语言模型以从图表中提取知识图谱
💡
原文英文，约800词，阅读约需3分钟。
📝
内容提要
使用Qwen2.5-VL模型结合PEFT和Neo4J，可以将流程图和技术图转换为兼容的JSON格式，便于AI系统处理和查询。该模型在节点和边的检测上显著提升，能够自动提取图形信息。
🎯
关键要点
- 使用Qwen2.5-VL模型结合PEFT和Neo4J，可以将流程图和技术图转换为兼容的JSON格式。
- 该模型在节点和边的检测上显著提升，能够自动提取图形信息。
- Diagram2Graph项目旨在自动化图形到图的提取过程。
- 模型接受图像输入，提取节点、边和元数据，并输出结构化的JSON。
- Qwen2.5-VL-3B模型在节点检测上提高了14.2%，在边检测上提高了23.4%。
- 使用LoRA进行微调，训练数据集包含218个标记的图像。
- 未来计划包括通过Cypher解析器进行Neo4J集成和为边缘设备量化模型。
❓
延伸问答
Qwen2.5-VL模型的主要功能是什么？
Qwen2.5-VL模型可以将流程图和技术图转换为兼容的JSON格式，便于AI系统处理和查询。
Diagram2Graph项目的目的是什么？
Diagram2Graph项目旨在自动化图形到图的提取过程，提升图形信息的可用性。
该模型在节点和边的检测上有何提升？
Qwen2.5-VL-3B模型在节点检测上提高了14.2%，在边检测上提高了23.4%。
如何使用Qwen2.5-VL模型进行图形提取？
模型接受图像输入，提取节点、边和元数据，并输出结构化的JSON格式。
为什么选择Qwen2.5-VL而不是其他模型？
Qwen2.5-VL是针对特定任务微调的视觉语言模型，避免了API限制和高成本，同时减少了幻觉现象。
未来的计划包括哪些方面？
未来计划包括通过Cypher解析器进行Neo4J集成和为边缘设备量化模型。
➡️
