量子位
·
港科广×腾讯联手打造《我的世界》神操作，400张截图就能让AI挖矿通关，成本降至5%｜EMNLP 2025
内容提要
香港科技大学（广州）与腾讯合作开发的VistaWise框架，通过仅用471张截图和轻量化视觉微调，实现了《我的世界》中AI挖矿的高效决策，成功率提升至33%，成本降至5%。该系统在EMNLP 2025会议上被录用，标志着小数据驱动大模型的突破。
关键要点
-
香港科技大学（广州）与腾讯合作开发VistaWise框架，提升《我的世界》中AI挖矿的成功率至33%，成本降至5%。
-
VistaWise框架结合了跨模态知识图谱和轻量化视觉微调，首次在开放世界智能体中应用。
-
实验结果显示，VistaWise在获取钻石的完整链条上刷新了非API类方法的成功率纪录。
-
该框架仅需471张截图和一张24GB显存的显卡，显著降低了训练成本和数据需求。
-
VistaWise的核心创新包括图谱级知识外挂、视觉增强的轻量化检测和推理增强的检索式池化。
-
整套系统实现了感知、检索、推理和执行的闭环，能够在本地笔记本电脑上运行。
-
与多模态大模型相比，VistaWise在性能上更高效，同时减少了30.7%的tokens使用。
-
最终，VistaWise的推理开销仅为传统方法的5%。
延伸解读
小数据的巨大潜力
VistaWise框架的成功展示了小数据在人工智能训练中的潜力。通过仅使用471张截图，研究团队实现了高效的AI决策，这为未来的AI开发提供了新的思路，尤其是在数据稀缺的领域。
成本效益的显著提升
VistaWise的推理成本仅为传统方法的5%，这意味着在资源有限的情况下，开发者可以更经济地实现复杂的AI功能。这一突破可能会吸引更多小型团队和初创企业参与AI项目。
技术创新的多模态应用
该框架结合了跨模态知识图谱和轻量化视觉微调，展示了多模态技术在开放世界智能体中的应用潜力。这种创新方法不仅提高了成功率，还为其他领域的AI应用提供了借鉴。
延伸问答
VistaWise框架的主要创新是什么？
VistaWise框架的主要创新包括图谱级知识外挂、视觉增强的轻量化检测和推理增强的检索式池化。
使用VistaWise框架进行AI挖矿的成功率是多少？
使用VistaWise框架进行AI挖矿的成功率提升至33%。
VistaWise框架如何降低训练成本？
VistaWise框架通过仅需471张截图和一张24GB显存的显卡，显著降低了训练成本和数据需求。
VistaWise框架在EMNLP 2025会议上有什么成就？
VistaWise框架的研究成果被EMNLP 2025会议正式录用。
VistaWise框架的推理开销与传统方法相比如何？
VistaWise的推理开销仅为传统方法的5%。
VistaWise框架如何实现感知、检索、推理和执行的闭环？
VistaWise框架通过YOLO检测环境，实时更新知识图谱，使用GPT-4o生成指令，并通过PyAutoGUI执行操作，实现闭环。
