基于真实用户查询评估文本到 SQL 系统的数据模型稳健性
内容提要
本文综述了Text-to-SQL系统的评估与鲁棒性研究。现有数据集划分仅能部分测试泛化能力，匿名化处理掩盖了关键挑战。对Spider等基准的扰动测试表明，最鲁棒的模型性能可下降50.7%。商业系统可被操纵生成恶意代码，后门攻击成功率达100%。GPT-4在人工评估中已超越Spider金标准，需独立评估。DAIL-SQL在Spider上达到86.6%的执行准确率。
延伸解读
评估局限：数据集划分与匿名化的影响
文章指出，现有Text-to-SQL数据集仅按训练集和测试集划分，只能部分测试模型对新查询的泛化能力，无法全面评估真实场景下的稳健性。此外，评估时对变量进行匿名化处理，掩盖了任务本身的一个重要挑战，使得模型在现实世界中的表现被高估。这提示研究者和从业者，在评估系统时需关注数据划分方式和匿名化带来的偏差，并考虑补充更贴近实际的数据集划分方法。
鲁棒性危机：扰动下性能大幅下降
针对Spider等基准的扰动测试显示，即使是最鲁棒的模型，在最具挑战性的扰动上性能也会下降50.7%。这表明当前Text-to-SQL系统在面对真实用户查询的多样性和噪声时非常脆弱。文章设计了17种针对数据库、自然语言问题和SQL查询的扰动，从多角度衡量鲁棒性。这一结果提醒我们，模型在标准基准上的高分可能掩盖了其在现实应用中的不稳定，需重视鲁棒性评估与改进。
安全风险：商业系统易被操纵生成恶意代码
文章揭示，6款商业Text-to-SQL应用的模块可被操纵产生恶意代码，可能导致数据泄露和拒绝服务攻击，这是首次演示NLP模型作为攻击向量在野外被利用。此外，对四个开源语言模型的实验验证了直接后门攻击可实现100%的成功率，且不影响系统正常性能。这呼吁学术界和业界关注NLP算法相关的软件安全问题，并积极探索缓解措施，尤其是在Text-to-SQL系统集成到关键业务时。
基准再评估：GPT-4超越金标准与独立评估的必要性
对多个跨领域Text-to-SQL基准的重新评估发现，由于样本可能存在多种解释，基准的完美表现并不可行，且模型相对性能会发生变化。值得注意的是，基于GPT-4的模型在人工评估中已超过Spider基准的金标准参考查询。这一发现强调，在谨慎解读基准评估的同时，独立评估对推动领域进展至关重要。它提示我们，不应盲目依赖自动指标，而应结合人工判断和多样化的评估方法。
Q&A
Text-to-SQL 系统在现实世界未见数据上的泛化能力评估存在哪些局限性？
现有数据集分为训练集和测试集的方法只能部分测试系统对新查询的泛化能力；评估时变量的匿名化会去除该任务的一个重要挑战。
Spider 基准的鲁棒性评测发现了什么？
即使是最鲁棒的模型在最具挑战性的扰动上也会出现 50.7% 的性能下降。
Text-to-SQL 系统是否存在安全漏洞？
是的，6 款商业应用程序的 Text-to-SQL 模块可以被操纵产生恶意代码，可能导致数据泄露和拒绝服务攻击；直接后门攻击可以实现 100% 的成功率。
GPT-4 在 Text-to-SQL 任务上的表现如何？
在人工评估中，基于 GPT-4 的模型超过了 Spider 基准中的金标准参考查询。
DAIL-SQL 在 Spider 上的执行准确率是多少？
DAIL-SQL 在 Spider 排行榜上取得了 86.6% 的执行准确率。
如何提高 Text-to-SQL 模型对近义词替换的鲁棒性？
有两类方法：一类依靠修改模型输入来利用附加同义词注释，另一类基于攻击性训练。两类方法都显著优于没有防御的基线模型，且第一类方法更有效。
