HoloHisto: 将 4K 分辨率的全息镜 WSI 分割与顺序记号化的一体化
💡
原文中文,约400字,阅读约需1分钟。
📝
内容提要
基于BLIP-2框架,开发了一种视觉语言模型,实现了图像-文本嵌入空间,用于文本或图像检索。通过评估病理医师,发现78%的WSI的模型生成的文本准确无误。这项工作展示了语言与WSI嵌入的潜力。
🎯
关键要点
- 基于BLIP-2框架开发了一种视觉语言模型。
- 实现了图像-文本嵌入空间,用于文本或图像检索。
- 使用病理报告中的精选文本与整张切片图像配对。
- 将WSI编码器与冻结的大型语言模型集成,实现基于WSI的生成文本能力。
- 在超过35万张WSI和诊断文本配对的数据集上进行评估。
- 病理医师评估显示78%的WSI模型生成的文本准确无误。
- 展示了语言与WSI嵌入结合的潜力。
➡️