本研究介绍了一个新的长格式数据库问答数据集，用于评估大型语言模型与SQL解释器的互动。研究发现，即使对于最先进的GPT-4模型，这个任务也存在巨大挑战。研究提出并评估了两种互动策略，并对互动过程中的各个阶段进行了细致分析。研究还确定了两个主要瓶颈，即规划能力和生成多个SQL查询能力。为了解决准确评估答案质量的挑战，研究引入了一个多代理评估框架，增强了评估的精确性和可靠性。该框架使我们能够更加细致地了解当前语言模型在复杂检索和推理任务中的优点和局限性。