LISA(推理分割)笔记
💡
原文中文，约1900字，阅读约需5分钟。
📝
内容提要
LISA（推理分割）是一种基于大型语言模型的语义分割新任务，通过图像和文本输入生成目标的分割掩码。论文提出了推理分割任务，建立了基准ReasonSeg，并训练了相应模型。LISA具备零样本能力，使用开源数据集进行训练，模型结构包括视觉编码器和解码器，训练目标为文本生成损失和分割掩码损失的加权和。
🎯
关键要点
- LISA（推理分割）是一种新任务，通过图像和文本输入生成目标的分割掩码。
- 论文提出了推理分割任务，建立了基准ReasonSeg，并训练了相应模型。
- LISA具备零样本能力，使用开源数据集进行训练。
- 模型结构包括视觉编码器和解码器，训练目标为文本生成损失和分割掩码损失的加权和。
- 训练数据由三部分组成，均为开源数据集，包括语义分割数据集、引用分割数据集和视觉问答数据集。
❓
延伸问答
LISA（推理分割）是什么？
LISA是一种基于大型语言模型的语义分割新任务，通过图像和文本输入生成目标的分割掩码。
LISA的训练数据来源是什么？
LISA的训练数据由三部分组成，均为开源数据集，包括语义分割数据集、引用分割数据集和视觉问答数据集。
LISA具备哪些能力？
LISA具备零样本能力，可以在没有推理分割内容的训练集上进行推理分割。
LISA的模型结构是怎样的？
LISA的模型结构包括视觉编码器和解码器，使用文本生成损失和分割掩码损失的加权和作为训练目标。
LISA的训练目标是什么？
LISA的训练目标是文本生成损失和分割掩码损失的加权和，具体由λtxt和λmask确定。
LISA的应用场景有哪些？
LISA可以完成复杂推理、世界知识、解释性回答和多轮对话等任务。
➡️
