KITAB: 对于信息检索的约束满足性评估 LLMs

该研究探讨了最先进的模型在回答信息检索的约束满足查询方面的能力，并介绍了KITAB数据集。结果表明，在缺乏上下文的情况下，模型在满足约束方面存在严重局限，包括与查询无关的信息、事实错误和不完整性等问题。该研究开源了贡献，以促进未来模型在改善约束满足能力方面的进一步研究。