本文介绍了推理分割任务及其基准模型，通过大语言模型分割图像和文本。模型包括生成mask和视觉编码器，训练目标为文本生成损失和分割掩码损失的加权和。训练数据包括语义分割、引用分割和视觉问答数据集。作者还提到LISA具有zero-shot能力，需要训练的参数包括解码器、llm的词嵌入和投影最后一层的mlp。

LISA（推理分割）是一种基于大型语言模型的语义分割新任务，通过图像和文本输入生成目标的分割掩码。论文提出了推理分割任务，建立了基准ReasonSeg，并训练了相应模型。LISA具备零样本能力，使用开源数据集进行训练，模型结构包括视觉编码器和解码器，训练目标为文本生成损失和分割掩码损失的加权和。