Dialogue Transformers 论文详解
原文中文,约2400字,阅读约需6分钟。发表于: 。论文中引入 transformer 的结构,其中注意力模型在对话轮的顺序上面起了了作用.最近我们使用递归神经网络多轮对话的上下文中用户说的话,但是我们原本认为注意力模型会更适合多轮场景.默认情况下,RNN假设每个选项和完整的序列有关,但是一轮对话当中包括一些交错的对话逻辑在里面. transformer 模型可以选择忽略或者选择对话的一部分内容.们比较了 Transformer...
本文介绍了在对话系统中使用transformer结构的优势,包括处理多轮对话的灵活性、准确性和速度上的优势。同时还介绍了transformer在开放领域和任务导向对话中的应用,并与其他方法进行了比较。最后,本文提到了对话策略中的注意力机制和复制机制的改进。