LOTUS: 基于非结构化和结构化数据表的语义查询支持的 LLMs
内容提要
本文探讨了利用大型语言模型（LLMs）和SQL查询从自然语言中提取数据的挑战与机遇。研究提出了一种新流程，结合自动推理技术，优化复杂数据库查询，提升查询的准确性和效率。通过与澳大利亚国立大学的知识图谱结合，开发了创新的语义查询处理系统，展示了其在学术研究中的应用潜力。
延伸解读
LLM在复杂数据库查询中的挑战与突破
文章指出，大型语言模型在自然语言数据库查询方面虽取得进展，但在大型企业数据库环境中性能会下降。为此，研究者提出将LLM的理解能力与自动推理技术相结合，以处理复杂的数据库约束。基于这一思路开发的新框架，在复杂基准测试中实现了零-shot文本到SQL的优越性能，为解决现实世界数据库的复杂查询问题提供了新方向。
优化LLM推断以提升查询效率
针对关系查询中调用LLM推断的效率问题，文章介绍了通过重排行以最大化键值缓存重用、重排列以进一步增加缓存重用，以及去重复冗余推断请求等优化手段。这些优化在Apache Spark中实现后，在真实数据集上的多样化LLM查询基准测试中，端到端延迟提高了4.4倍。这是首个明确解决SQL查询中优化LLM调用问题的研究，对提升实际系统性能具有参考价值。
语义查询处理在学术知识管理中的应用
文章展示了一个创新的语义查询处理系统，将LLM与澳大利亚国立大学的学术知识图谱（ASKG）相结合。该系统通过深度文档模型和知识图增强的查询处理，解决了传统学术知识图建设和利用的局限，能够获取相关事实和文本节点。实验表明，该方法优于基准，具有提高查询准确性和效率的潜力，为学术研究场景中的知识管理与发现提供了新工具。
LLM在可视化任务推断上的局限
研究评估了四种公开可用的大型语言模型（GPT-4、Gemini-Pro、Llama3和Mixtral）在存在不确定性的情况下理解话语、识别相关数据背景和可视化任务的能力。结果表明，尽管这些模型对话语中的不确定性较为敏感，且能提取相关数据背景，但在推断可视化任务方面存在困难。这一发现指出了未来利用语言模型生成可视化的重要研究方向。
Q&A
如何利用大型语言模型和SQL查询从自然语言中提取数据？
通过结合自动推理技术和简化的查询语言，可以优化复杂数据库查询，从而提高数据提取的准确性和效率。
本文提出的新流程有什么特点？
新流程结合了自动推理技术，旨在有效检索相关数据和上下文，并合成高效的SQL查询。
大型语言模型在处理复杂数据库时面临哪些挑战？
在大型企业数据库中，LLMs的性能可能下降，尤其是在理解不确定性和可视化任务推断方面存在困难。
如何优化LLM在关系查询中的调用？
通过重排行和列以最大化缓存重用，并去重复冗余的推断请求，可以显著提高查询的端到端延迟。
开发的语义查询处理系统有什么应用潜力？
该系统结合了澳大利亚国立大学的知识图谱，能够有效获取研究作品的信息，提升学术研究的效率。
评估的四种大型语言模型表现如何？
这些模型在理解不确定性和提取相关数据方面表现良好，但在可视化任务推断上存在困难。
