HoloHisto: 将 4K 分辨率的全息镜 WSI 分割与顺序记号化的一体化

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

基于BLIP-2框架,开发了一种视觉语言模型,实现了图像-文本嵌入空间,用于文本或图像检索。通过评估病理医师,发现78%的WSI的模型生成的文本准确无误。这项工作展示了语言与WSI嵌入的潜力。

🎯

关键要点

  • 基于BLIP-2框架开发了一种视觉语言模型。
  • 实现了图像-文本嵌入空间,用于文本或图像检索。
  • 使用病理报告中的精选文本与整张切片图像配对。
  • 将WSI编码器与冻结的大型语言模型集成,实现基于WSI的生成文本能力。
  • 在超过35万张WSI和诊断文本配对的数据集上进行评估。
  • 病理医师评估显示78%的WSI模型生成的文本准确无误。
  • 展示了语言与WSI嵌入结合的潜力。
➡️

继续阅读