WILT：一个多轮、记忆鲁棒的归纳逻辑基准测试

BriefGPT - AI 论文速递 · 2024-10-14T00:00:00Z

我们推出了LogicAsker，一种自动化方法，用于评估和提升大型语言模型的逻辑推理能力。在GPT-3、ChatGPT、GPT-4等模型上测试发现，逻辑推理错误率在25%到94%之间。LogicAsker的测试用例还能用于设计上下文学习示例，提高逻辑推理能力，例如GPT-4提升了10%。所有代码和数据将公开以支持未来研究。