PRACTIQ:一个包含模糊和无法回答查询的实用对话文本到SQL数据集
原文中文,约500字,阅读约需2分钟。发表于: 。本研究解决了现有文本到SQL数据集中缺乏对模糊和无法回答用户问题的关注。我们提出了一个名为PRACTIQ的新数据集,模拟了真实用户的模糊和无法回答的查询,并开发了包括用户澄清和SQL响应的对话结构。实验表明,现有的最先进系统在处理这些复杂问题时效果不佳,表明了该研究在文本到SQL领域的实际应用潜力。
近期研究在自然语言到SQL翻译方面取得进展,但模型在实际应用中的可靠性仍需提高。为此,提出了TrustSQL基准系统,评估模型在单数据库和跨数据库下的可靠性。任务要求模型预测SQL或选择不预测。研究探索了独立模型集成和统一模型优化的方法。实验显示,没有一种方法能超越放弃回答所有问题的基准性能。