本文探讨了Transformer模型在序列到序列函数逼近中的通用逼近性，分析了自注意力和前馈层的作用，提出了新的神经网络架构Sumformer，并比较了Transformer与广义状态空间模型在复制任务上的性能，结果表明Transformer在效率和泛化能力上表现更佳。

本文探讨了序列到序列方法在无监督和半监督学习中的应用，特别是在人体活动识别和时间序列分割任务中。这些方法有效提取特征，提高识别性能，并在处理传感器数据时表现优异。

本文讨论了使用GPT-3和Flan-T5等大型语言模型进行关系提取的问题。通过线性化生成目标字符串的方法，进行了序列到序列的任务处理。通过人工评估，在不同程度的监督下评估了它们在标准关系提取任务中的表现。发现GPT-3进行的少量提示与现有完全监督模型相当，而使用Chain-of-Thought风格的解释进一步监督和微调后，该模型产生了最优结果。

本文介绍了一种高质量的歌唱合成器，利用序列到序列的歌唱模型和多歌手框架来模拟声音。通过对抗性任务和多随机窗口鉴别器，保证了模型的平衡性。客观和主观评估表明，该合成器比基准测试产生更高质量的歌唱声音，特别是高音元音的表达得到了显著改善。

本文提出了一个基于序列到序列解决视频动作分割的统一框架，利用全面时间戳监督设置的 seq2seq 翻译。通过映射视频帧序列到动作分段序列的方法，解决动作分割问题。提出了修改和辅助损失函数，以及针对长输入序列和较少视频输出序列的模块化方法。引入了辅助监督信号和独立的对齐解码器，用于持续时间预测。通过有限 k-medoid 算法扩展框架到基于时间戳的监督设置，生成伪分割。在完全和时间戳监督设置中，框架表现一致，胜过或与几个数据集上的最先进算法相竞争。

本文介绍了一种基于Transformer模型的序列到序列翻译系统。该系统通过编码器和解码器结构，结合多头注意力机制和位置编码，能够将德语句子翻译为英语。训练过程中采用交叉熵损失函数，使用SGD优化器，推理时使用贪婪解码器逐步生成翻译结果。