LR-SQL:低资源场景下文本到SQL任务的监督微调方法
原文中文,约400字,阅读约需1分钟。发表于: 。本研究针对现有文本到SQL任务中的GPU内存消耗问题,提出了LR-SQL方法,通过schema_link模型和SQL_generation模型的组合,简化了数据库的处理过程。LR-SQL显著降低了GPU内存需求,实验结果表明在只损失微小精度的情况下,内存占用减少了40%。
我们提出了一种系统方法,解决开源大型语言模型在Text-to-SQL任务中的上下文理解问题。通过openprompt策略、监督微调、Chain-of-Thought推理和openexample方法,提升少样本学习能力,并引入可变长度数据库架构应对大规模数据库挑战。研究表明,监督微调显著提升了Llama2-7B和Code Llama-7B在BIRD-Dev数据集上的性能。