使用自适应多头注意力的 Transformer 情感分析

BriefGPT - AI 论文速递 · 2023-10-23T00:00:00Z

该文提出了一种基于上下文感知 NMT 的层次化注意力机制，用于处理整个文档的翻译。该方法使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，并将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中。在英德数据集上的实验进一步验证了该方法的有效性。