大型语言模型辅助的可视分析：机遇与挑战
内容提要
本文介绍了LLMMaps作为评估大型语言模型（LLM）性能的新技术，支持分层评估和风险分析。研究开发了AI Threads对话机器人，增强了可视化分析能力，并展示了其在不同数据集上的应用。此外，提出了V-RECS视觉推荐系统和VisEval基准，解决了LLM在可视化任务中的挑战，评估了多种模型的表现，并指出了未来研究方向。
延伸解读
LLM评估的可视化方法创新
LLMMaps将Q&A数据集和LLM响应转化为内部知识结构，支持分层评估和风险分析，并允许多个LLM比较。这为评估LLM性能提供了新视角，有助于识别模型在不同知识层面的表现差异，引导未来发展方向。
对话式可视化改进的挑战与进展
研究发现生成式LLM驱动的分析对话机器人在支持渐进式可视化改进方面存在不足。为此开发的AI Threads通过主动管理对话上下文提高了输出效果，并在众包研究和专家访谈中验证了可用性，展示了LLM在可视化对话中的潜力与挑战。
NL2VIS任务中的LLM应用与优化
在自然语言到可视化（NL2VIS）任务中，将结构化表格数据转化为程序是有效方法，且提示设计需考虑表格模式。LLM优于基线方法，推理模型通过少量示范的上下文学习可进一步提升性能，甚至超过微调模型。针对失败情况，循环更新策略结合链式思维等方法能迭代改进结果。
视觉推荐与评估基准的进展
V-RECS是首个基于LLM的视觉推荐系统，通过细化小型模型和Chain-of-Thoughts技术，在性能与GPT-4相当的同时降低了成本。VisEval基准则通过高质量数据集和综合自动化评估，揭示了NL2VIS研究的普遍挑战，为未来发展提供重要见解。
Q&A
LLMMaps是什么，它的主要功能是什么？
LLMMaps是一种新的可视化技术，用于评估大型语言模型的性能，支持分层评估和风险分析。
AI Threads对话机器人有什么特点？
AI Threads是一个多线程的分析对话机器人，能够主动管理对话上下文，提高输出效果。
V-RECS视觉推荐系统的优势是什么？
V-RECS是首个基于LLM的视觉推荐系统，提供解释和数据探索建议，性能与GPT-4相当但成本更低。
VisEval基准的目的是什么？
VisEval是新的NL2VIS基准，揭示了当前研究中的挑战并为未来发展提供见解。
研究中评估了哪些大型语言模型？
研究评估了四种大型语言模型：GPT-4、Gemini-Pro、Llama3和Mixtral。
未来研究方向有哪些？
未来研究方向包括利用语言模型生成可视化的能力和改进模型在可视化任务中的表现。
