基于图卷积神经网络的自动超声心动图视角识别：一种整体方法
内容提要
该文综述深度学习在心脏影像中的应用，包括：图卷积网络消除心脏结构分割错误并实时预测轮廓点；HybridVNet高效生成高保真网格；3D nnU-Net提升分割时序一致性与泛化性；自监督对比学习用于心血管疾病诊断；图卷积与注意力机制提升组织学诊断可解释性；并介绍CAMUS心脏超声数据集及胎儿心脏视频自动描述方法。
延伸解读
图卷积网络在心脏影像中的角色
文章指出，图卷积网络被用于消除心脏结构分割的解剖错误，并实时预测结构轮廓点。同时，通过U-Net和图网络的模型间一致性，可作为输入和分割质量的预测指标。这表明图结构能编码心脏解剖关系，提升分割的解剖合理性，而一致性指标有助于评估分割可靠性。
从分割到网格生成的技术路径
HybridVNet将标准卷积神经网络与图卷积集成，能高效处理表面和体积网格，并结合变分图生成模型、深度监督和网格特定正则化，从心脏磁共振图像生成高保真且适合模拟的网格。这显示了从图像分割到网格生成的一体化趋势，为后续血流模拟等应用提供基础。
自监督学习与临床诊断潜力
基于自监督对比学习的模型，利用心脏磁共振扫描伴随的放射学报告文本学习视觉概念，在多个大型临床机构数据上训练和评估，并在英国生物银行等外部数据集上展示出卓越性能，能完成左心室射血分数回归和35种病症诊断等任务，且仅需部分训练数据即可达到临床级准确率。这提示自监督方法有望缓解标注数据稀缺问题。
数据集与评估基准的进展
文章介绍了CAMUS心脏超声数据集，用于评估深度卷积神经网络自动分割心脏结构和估计临床指标，结果表明深度学习方法优于传统非深度学习方法，但仍需改进。此外，胎儿心脏视频自动描述方法在临床数据集上达到与专家注释相当的性能。这些工作为心脏影像分析提供了公开基准和评估参考。
Q&A
图卷积网络在心脏结构分割中有什么作用？
使用图卷积神经网络的图结构消除心脏结构分割的解剖错误，实时预测结构轮廓点，并提出使用U-Net和图网络的模型间一致性作为输入和分割质量的预测指标。
HybridVNet是什么？它有什么特点？
HybridVNet是一种将标准卷积神经网络与图卷积无缝集成的新颖架构，可以高效地处理表面和体积网格，并通过图结构对其进行编码。它结合了传统卷积网络、变分图生成模型、深度监督和网格特定正则化，从CMR图像中高效生成高保真度和适合模拟的网格。
3D nnU-Net在医学图像分割中有什么优势？
基于3D nnU-Net的深度学习方法在时序一致性和跨数据集泛化性方面具有优势，并有望成为临床工具的首选。
自监督对比学习如何用于心血管疾病诊断？
基于自监督对比学习的深度学习模型通过学习心脏核磁共振扫描伴随的放射学报告的原始文本中的视觉概念，展示了对人类心血管疾病和健康的全面评估。该模型在美国四个大型学术临床机构的数据上训练和评估，并在英国BioBank和其他两个公开数据集上展示了卓越性能，实现了包括左心室射血分数回归和35种不同病症的诊断，在仅需要一部分训练数据的情况下达到临床级诊断准确率。
CAMUS数据集是什么？它的评估结果如何？
CAMUS是一个新的用于心脏超声检测的数据集，评估了使用深度卷积神经网络方法自动分割心脏结构以及估计临床指标的效果，结果表明此方法优于传统非深度学习方法，但仍需改进，可用于2D心脏超声图像准确且自动化的分析。
如何自动描述胎儿心脏超声视频？
该研究提出了一种自动描述以及指导超声胎儿心脏视频图像解释的有用信息的方法，使用卷积神经网络与锚机制及IoU误差进行多任务预测和位置精确定位，最终能够精准地描述困难US视频中详细的心脏参数，实现与专家注释相当的性能，研究在临床数据集上进行。
