让模型发表言论:通过嵌入进行多智能体辩论
💡
原文中文,约300字,阅读约需1分钟。
📝
内容提要
该文介绍了一种使用Transformer-based PrLM的masking机制的组合学习方法,成功地在对话领域适应性训练策略上取得了新的最先进性能。
🎯
关键要点
- 提出了一种组合学习方法,超越了预先训练的语言模型。
- 该方法捕捉对话历史的话语感知和说话人感知等表示。
- 使用Transformer-based PrLM的masking机制,聚焦于当前话语、其他话语和两种说话人角色。
- 有效区分上下文信息。
- 借鉴域自适应训练策略,在对话领域适应性训练策略上取得新性能。
- 在四个公共基准数据集上取得了新的最先进性能。
➡️