SEINE：用于核实例分割的结构编码与交互网络
内容提要
该文综述细胞核实例分割研究进展，发布大规模手工标注数据集NuInsSeg，涵盖31个人鼠器官的665个图像块、逾3万个细胞核，并首次提供模糊区域掩模；同时介绍自监督尺度三元组学习、CIA-Net多级信息聚合、多阶段实例分割与分类、点提示框架、TransNuSeg纯Transformer方法、Masked Image Modeling预训练，以及结合多通道颜色空间与UFL损失、ConvNeXt和SAM等方法，这些方法均在基准上提升了精度。
延伸解读
NuInsSeg数据集：模糊区域掩模的意义
文章发布的NuInsSeg数据集覆盖31个人鼠器官的665个图像块，包含超过3万个手工分割细胞核，并首次为整个数据集提供模糊区域掩模。这一设计承认了部分区域即使专家也难以精确标注，为模型训练和评估提供了更真实的边界信息，有助于减少因标注不确定性带来的误差，对细胞核实例分割研究具有基础性价值。
自监督与多级聚合：利用先验知识
自监督尺度三元组学习通过数量排序等子任务，隐式利用细胞核大小和数量的先验知识，从原始数据中挖掘特征表示，提升了实例分割准确性。CIA-Net则通过多级信息聚合和双向聚合任务专用功能，作用于细胞核和轮廓特征，减少分割问题并增强对未见组织的泛化能力，在2018年MICCAI挑战赛中验证了有效性。
Transformer与提示框架的进展
TransNuSeg是首个仅采用Transformer框架进行核分割的尝试，解耦核实例、核边缘和聚集边缘分割任务，结合自蒸馏损失和部分共享注意力，性能优于CA2.5-Net。基于提示的框架则通过点提示器为每个细胞核生成唯一点提示，并微调段装置模型输出掩模，在三个挑战性基准上取得最新性能，展示了提示学习在核分割中的潜力。
多通道颜色空间与SAM结合的效果
一项研究提出基于多通道颜色空间和统一聚焦损失函数（UFL）的核分割与分类方法，使用ConvNeXt作为HoVer-Net编码器自动提取区分特征，并借助SAM算法确保普适性，测试达到12.489% mPQ+，超越当前SOTA。该方法适用于多种医学分析应用，表明结合颜色空间、损失函数与先进分割模型可有效提升性能。
Q&A
NuInsSeg数据集包含哪些内容？
NuInsSeg是一个大规模手工标注的细胞核数据集，包含来自31个人和小鼠器官的665个图像补丁，超过30,000个手动分割的细胞核，并且首次提供了整个数据集的模糊区域掩模，用于表示即使专家也无法精确确定注释的区域。
自监督尺度三元组学习如何提升细胞核分割？
该框架通过尺度三元组学习和数量排序两个子任务，隐式利用细胞核大小和数量的先验知识，从原始数据中挖掘特征表示，从而大大提高细胞核实例分割的准确性。
CIA-Net网络有什么创新点？
CIA-Net具有多级信息聚合模块和双向聚合任务专用功能，通过作用于细胞核和轮廓的特征来减少分割问题，增强对未见组织的分割能力，并在2018年MICCAI挑战赛中证明了有效性。
基于提示的框架如何实现细胞核实例分割？
该框架包含一个点提示器和一个段装置模型，通过学习为每个细胞核生成唯一的点提示，并将段装置模型微调为输出相应的细胞核掩模，在三个挑战性基准上取得了最新性能。
TransNuSeg方法有什么特点？
TransNuSeg是第一个仅采用Transformer框架进行核分割的尝试，它解耦了核实例、核边缘和聚集边缘分割等任务，采用了新型的自蒸馏损失和部分共享注意力方案，性能优于CA2.5-Net。
Masked Image Modeling在医学图像分析中如何应用？
该研究介绍了Masked Image Modeling自监督学习范例在医学图像分析中的潜在应用，使用Bidirectional Encoder Representation from Image Transformers模型对荧光素&伊红染色图像的细胞核进行预编码，实验证明模型在分类任务上有较好的泛化能力和准确性。
如何结合多通道颜色空间和UFL损失提升核分割性能？
该方法基于多通道颜色空间和统一聚焦损失函数（UFL），使用ConvNeXt作为HoVer-Net模型的编码器自动提取区分特征，并使用SAM算法确保普适性，达到了12.489% mPQ+的测试效果，超越当前SOTA。
