BriefGPT - AI 论文速递
·
未知未知领域中的参与式人类学习
💡
原文中文，约300字，阅读约需1分钟。
📝
内容提要
该文章介绍了一种机器-人类管道，通过使用基于LLM的代理体系结构和将对话与人物和时间事件图进行关联，生成高质量的非常长期的对话。作者通过人类注释者对对话进行检验和编辑，以确保其长程一致性和对事件图的关联。实验结果表明，LLM在理解冗长对话和理解对话中的长程时间和因果动态方面存在挑战。使用长上下文LLM或RAG等策略可以提供改进，但这些模型仍然远远落后于人类的性能。
🎯
关键要点
- 文章介绍了一种机器-人类管道，使用基于LLM的代理体系结构生成长期对话。
- 对话与人物和时间事件图进行关联，以确保长程一致性。
- 通过人类注释者对对话进行检验和编辑。
- 收集了一个包含300个回合和平均9K个记号的长期对话数据集。
- 提出了一个评估基准来衡量模型中的长期记忆。
- 实验结果显示LLM在理解冗长对话和长程时间因果动态方面存在挑战。
- 使用长上下文LLM或RAG等策略可以提供改进，但仍落后于人类性能。
➡️
