使用自适应多头注意力的 Transformer 情感分析
原文中文，约200字，阅读约需1分钟。发表于：。提出了一种基于注意机制的新型框架，用于识别电影评论文档的情感。通过自适应多头注意力架构 (AdaptAttn) 根据句子长度变化注意头的数量，在 Stanford 大型电影评论数据集上的实验结果显示，我们的模型的 F1 得分与基准模型相当。
该文提出了一种基于上下文感知 NMT 的层次化注意力机制，用于处理整个文档的翻译。该方法使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，并将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中。在英德数据集上的实验进一步验证了该方法的有效性。
