【vLLM 学习】Encoder Decoder Multimodal
内容提要
文章通过具体示例和对比，阐明了三种主流开源模型架构（Causal Decoder、Prefix Decoder、Encoder-Decoder）的区别及其在NLP、多模态和计算机视觉等领域的应用，强调了注意力机制和输入输出关系的差异，以帮助用户更好理解。
关键要点
-
文章阐明了三种主流开源模型架构的区别：Causal Decoder、Prefix Decoder、Encoder-Decoder。
-
三种架构在自然语言处理（NLP）、多模态和计算机视觉（CV）等领域的应用各有侧重。
-
在NLP中，Causal Decoder用于文本生成，Prefix Decoder用于对话系统，Encoder-Decoder用于翻译和摘要。
-
多模态任务结合视觉编码器和文本解码器，三种架构均可应用。
-
计算机视觉主要使用纯Encoder架构，直接输出预测结果。
-
Causal Decoder的注意力机制是单向的，只能看到当前词左侧的信息。
-
Prefix Decoder的注意力机制是前缀部分双向，生成部分单向。
-
Encoder-Decoder的注意力机制是编码器完全双向，解码器单向但可访问编码器的全部信息。
-
对比表格总结了三种架构在输入处理、输出生成和典型任务上的差异。
-
实际应用场景示例包括多语言翻译、视觉问答和图像分类，展示了不同架构的具体应用。
延伸问答
Causal Decoder和Prefix Decoder的主要区别是什么？
Causal Decoder的注意力机制是单向的，只能看到当前词左侧的信息，而Prefix Decoder的前缀部分是双向的，生成部分是单向的。
在自然语言处理领域，哪种模型架构适合翻译任务？
在自然语言处理领域，Encoder-Decoder架构适合翻译任务，例如T5模型。
多模态任务中如何结合视觉编码器和文本解码器？
多模态任务中，可以结合视觉编码器（如ViT）和文本解码器，三种架构均可应用于图文生成和视觉问答等任务。
计算机视觉任务通常使用哪种模型架构？
计算机视觉任务通常使用纯Encoder架构，如ViT和ResNet，直接输出预测结果。
Encoder-Decoder架构的注意力机制是怎样的？
Encoder-Decoder架构的注意力机制是编码器完全双向，解码器单向但可访问编码器的全部信息。
在文本生成任务中，Causal Decoder的应用场景有哪些？
Causal Decoder适用于通用文本生成任务，如故事生成和代码补全。
