d[IA]gnosis：使用嵌入式Python和大型语言模型进行诊断向量化
内容提要
本文介绍了使用InterSystems IRIS for Health生成ICD-10代码列表向量的工具，并使用预训练的语言模型进行存储和相似性搜索。文章还提到了使用Python库SentenceTransformers进行向量生成，下载了BioLORD-2023-M预训练模型，并将ICD-10代码向量化并更新到数据库中。最后，将Python代码包装成一个类，并与IRIS for Health集成。下一篇文章将介绍如何将Angular 17开发的前端应用与IRIS for Health集成，并进行文本分析和ICD-10代码相似性搜索。
延伸解读
为什么选择BioLORD-2023-M模型？
文章选用BioLORD-2023-M预训练模型生成786维向量，该模型通过定义和多关系知识图谱进行语义 grounding，能更准确地表示医学概念。相比传统方法，它克服了生物医学名称不自解释导致的非语义表示问题，在临床句子和生物医学概念相似度任务上达到新 state of the art。这为ICD-10代码的语义搜索提供了更可靠的基础。
向量化流程与IRIS集成要点
文章展示了从ICD-10代码表中提取未向量化的描述，使用SentenceTransformers批量生成嵌入，并通过SQL命令TO_VECTOR更新到数据库。整个过程封装为继承Ens.BusinessProcess的类，与IRIS for Health生产环境集成，由Business Service通过文件适配器触发。这种设计将Python的向量化能力与IRIS的数据管理无缝结合，便于后续相似性搜索。
实际应用中的注意事项
文章提到每次处理前50条未向量化的记录，并检查向量描述是否为空，这暗示了增量处理策略。在实际部署时，需确保模型文件已下载到共享路径，并注意批量大小对性能的影响。此外，向量维度固定为786，存储和查询时需保持一致。这些细节对系统稳定性和效率至关重要。
Q&A
如何使用InterSystems IRIS for Health生成ICD-10代码的向量？
可以通过使用预训练的语言模型和Python库SentenceTransformers来生成ICD-10代码的向量。
BioLORD-2023-M模型的特点是什么？
BioLORD-2023-M模型生成786维向量，使用多关系知识图谱提高医学概念的语义表示。
如何将Python代码与IRIS for Health集成？
将Python代码封装成类，扩展Ens.BusinessProcess，并连接到负责检索CSV文件的业务服务。
使用SentenceTransformers库的优势是什么？
SentenceTransformers库简化了从预训练模型生成文本向量的过程，并支持语义搜索和相似性计算。
如何在IRIS中更新ICD-10代码的向量描述？
使用SQL命令TO_VECTOR来更新ICD-10代码的向量化描述。
下一篇文章将讨论什么内容？
下一篇文章将介绍如何将Angular 17开发的前端应用与IRIS for Health集成，并进行文本分析和ICD-10代码相似性搜索。
