通过关注多种标签嵌入进行准确和良好校准的 ICD 编码分配
内容提要
该文综述了自动ICD编码的深度学习方法，包括标签关注模型、层级联合学习、Transformer、PubMedBERT及GPT-4零样本编码，旨在解决类别不平衡与长文本处理问题，在MIMIC数据集上提升预测精度与可解释性，并探索多视图学习与上下文表示以辅助临床编码。
延伸解读
技术演进：从标签关注到层级联合学习
文章梳理了自动ICD编码的技术发展脉络。早期研究采用标签关注模型和层级联合学习机制，在MIMIC数据集上取得当时最优效果，并缓解类别不平衡问题。随后，基于Transformer的模型结合标签分布感知损失函数，在预测精度上超越双向循环神经网络，同时提供编码特定的关注机制，增强临床建议的可靠性。这些进展显示，模型架构与损失函数的协同优化是提升性能的关键。
预训练模型与长文本处理的挑战
文章指出，PubMedBERT等预训练模型在自动ICD编码任务中表现良好，但处理长文本时仍存在困难。研究认为，改进信息汇聚方法是提升ICD编码性能的主要方向。此外，基于描述-标签的注意力分类器利用不同Transformer编码器，在MIMIC-III-50数据集上实现了强大结果和可解释性，表明针对长文本的表示学习仍需进一步探索。
零样本编码与多视图学习的探索
文章提到，利用GPT-4等大型预训练生成语言模型，通过信息提取、ICD本体论和临床编码任务描述，可实现零样本和少样本编码分配，无需任务特定学习，在稀缺类别上达到最优性能。同时，多视图学习框架结合ICD代码和文本，采用图神经网络和Bi-LSTM，并应用深度典型相关分析强制相似表示，在临床和多样文本应用中表现良好，为ICD编码提供了新思路。
可解释性与上下文表示的价值
文章强调，HiLAT等层次化标签关注Transformer模型不仅能提高F1得分，还能通过关注权重可视化提供潜在的解释性工具，辅助临床医生理解预测依据。此外，基于本地上下文的ICD代码和实体表示方法，在处理罕见和未见过的代码时也表现出色。这些工作表明，可解释性和上下文感知是自动ICD编码走向临床实用的重要因素。
Q&A
自动ICD编码中常用的深度学习方法有哪些？
文章综述了多种深度学习方法，包括标签关注模型、层级联合学习、基于Transformer的模型、PubMedBERT以及GPT-4零样本编码等。
如何解决ICD编码中的类别不平衡问题？
文章提到采用标签分布感知的边界（LDAM）损失函数，以及层级联合学习机制来应对类别不平衡问题。
有哪些模型在MIMIC数据集上提升了ICD编码性能？
文章提到多种模型在MIMIC数据集上取得最新成果，如标签关注模型、层级联合学习、基于Transformer的模型、HiLAT等，其中HiLAT在MIMIC-III前50个ICD-9代码的F1得分高于ClinicalplusXLNet。
GPT-4如何用于零样本ICD编码？
文章介绍利用GPT-4进行零样本和少样本编码分配，通过信息提取、ICD本体论和临床编码任务描述检索相关提及，并在第二阶段进行元细化，无需任务特定学习，在稀缺类别上达到最优性能。
PubMedBERT在自动ICD编码中面临什么挑战？
文章指出PubMedBERT在处理长文本时存在困难，提出更好的信息汇聚方法是改进ICD编码的主要需要。
多视图学习如何提升临床机器学习应用的性能？
文章提出多视图学习框架，结合ICD代码和文本，采用图神经网络（GNN）和Bi-LSTM处理输入，并应用深度典型相关分析（DCCA）强制两个视图的相似表示，在临床和多样文本应用中表现良好。
