流式对话:通过最小损失的长上下文压缩实现长时间对话学习
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
本文介绍了使用基于LLM的代理体系结构和将对话与人物和时间事件图进行关联的机器-人类管道,用于生成高质量的非常长期的对话。实验结果表明,LLM在理解冗长对话和长程时间和因果动态方面存在挑战。
🎯
关键要点
- 介绍了基于LLM的代理体系结构和机器-人类管道,用于生成高质量的长期对话。
- 通过人类注释者对生成的对话进行检验和编辑,以确保长程一致性和事件图的关联。
- 收集了一个包含300个回合和平均9K个记号的长期对话数据集。
- 提出了一个评估基准来衡量模型中的长期记忆,涉及问题回答、事件摘要和多模态对话生成任务。
- 实验结果显示,LLM在理解冗长对话及长程时间和因果动态方面存在挑战。
- 使用长上下文LLM或RAG等策略可以改善性能,但仍然落后于人类表现。
➡️