基础模型的低资源化微调在组织病理学中超越了现有技术水平
内容提要
该文综述数字病理学基础模型进展：团队以较少全幻灯片图像构建模型，在公共及内部基准表现良好。研究表明，病理数据自监督预训练优于自然图像预训练，DINO泛化更佳，MoCo v2特征提取优于ImageNet预训练。团队还构建了6.32亿参数的Virchow模型，在分类、癌症检测和生物标志物预测等任务表现突出，并揭示特征提取器与聚合模型超参数之间存在相互依赖。
延伸解读
数据效率：少一个数量级仍达前沿
文章指出，团队模型在公共和内部基准上表现良好，但使用的幻灯片数量比竞争模型少一个数量级。这意味着在病理基础模型训练中，数据规模并非唯一决定因素，半自动化数据整理和领域知识引入可能显著提升数据利用效率。对于资源有限的团队，这提供了一条以更少数据接近前沿性能的可行路径，但文章也提醒，更多数据和更大模型规模有望进一步提升性能。
预训练选择：病理数据优于自然图像
文章通过基准测试发现，与自然图像预训练相比，病理数据自监督预训练对下游性能更有益。其中DINO算法在所有测试任务中泛化更好，而MoCo v2在组织病理学图像上提取的特征优于ImageNet预训练，且嵌入空间具有生物学意义上的解离性。这提示在病理任务中，领域内预训练特征提取器可能比通用视觉预训练更合适，同时能节省内存和计算资源。
评估陷阱：特征提取器与聚合超参数相互依赖
文章揭示特征提取模型和聚合模型超参数之间存在相互依赖性，指出超参数选择可能使性能可比性产生偏差。研究评估了七个特征提取模型和162个聚合模型配置在三个数据集上的表现，提供了更细致的理解。这意味着在比较不同特征提取器时，需同时考虑聚合模型配置，否则结论可能不公正或不准确，对数字病理学模型评估具有方法学警示意义。
Virchow模型：6.32亿参数的病理基础模型
团队构建了Virchow计算病理学深度神经网络基础模型，参数规模达6.32亿，旨在解决病理学任务中数据缺乏的挑战。该模型在病理图像分类、癌症检测和亚型识别、生物标志物预测等多个任务中表现出色，显示了在病理图像数据集上预训练的重要性和潜力。结合其数据效率优势，Virchow代表了在有限数据条件下构建大规模病理基础模型的一种实践方向。
Q&A
组织病理学基础模型在低资源微调方面有什么新进展？
通过半自动化数据整理和引入病理学领域知识，研究团队扩展了数字病理学全幻灯片图像基础模型的最新技术。他们的模型在公共和内部基准测试中表现良好，尽管使用的幻灯片数量比竞争模型少一个数量级。
为什么病理数据自监督预训练比自然图像预训练更好？
研究表明，与自然图像的预训练相比，病理数据的预训练对下游性能是有益的。此外，DINO算法在所有测试任务中实现了更好的泛化性能，标志着计算病理学研究的一个阶段性变化。
MoCo v2在组织病理学特征提取中表现如何？
使用自监督学习算法MoCo v2在组织病理学图像上进行领域内特征提取训练，获得了比ImageNet预训练的特征提取器更好的性能，提高了半监督学习在组织病理学中的性能，并展示了学到的组织结构嵌入空间具有生物学意义上的解离性。
Virchow模型是什么？它在病理学任务中表现如何？
Virchow是一个632百万参数的计算病理学深度神经网络基础模型，使用自监督学习方法创建，旨在解决病理学任务中缺乏数据的挑战。它在病理图像分类、癌症检测和亚型、生物标志物预测等多个任务中表现出色，显示了预训练在病理学图像数据集上的重要性和潜力。
特征提取模型和聚合模型的超参数之间有什么关系？
研究揭示了特征提取模型和聚合模型超参数之间的相互依赖性，指出选择的超参数可能会使性能可比性产生偏差。通过对162个不同聚合模型配置的三个不同数据集上的七个特征提取模型的评估，提供了关于特征提取器和聚合模型之间关系的更细致的理解，从而使数字病理学中的特征提取模型能够获得更公正和准确的评估。
自监督学习在数字病理学中如何减少对标记数据的依赖？
通过使用单个预训练的深度嵌入提取器将图像转换为深度特征，可以减少所需的标记数据并加速训练。同时，使用特征空间增强策略可以显著提高在组织学图像分类任务上的F1分数。
