评估 LLM 对数据可视化中自然语言表达的语义分析能力
原文中文,约200字,阅读约需1分钟。发表于: 。本研究评估了四种公开可用的大型语言模型(GPT-4、Gemini-Pro、Llama3 和 Mixtral)的能力,探究它们在存在不确定性的情况下理解话语、识别相关数据背景和可视化任务的能力。研究结果表明,尽管语言模型对话语中的不确定性较为敏感,但它们能够提取相关数据背景,不过在推断可视化任务方面存在困难。基于这些结果,我们指出了未来在利用语言模型生成可视化方面的研究方向。
该研究评估了医学领域的开源和闭源大型语言模型在临床试验报告数据集上的自然语言推理能力。Gemini模型在具有医学缩写和数量 - 定量推理要求的挑战性实例上表现良好,获得了0.748的F1分数,并在任务排行榜上位列第九。这是第一项全面检验大型语言模型在医学领域推理能力的研究。