开放性呼吸声基础模型：预训练和基准测试
内容提要
本文介绍了一种名为Rene的多模态深度学习架构，结合预训练语音识别模型和医疗记录信息，显著提升了呼吸事件检测和音频分类的性能。在ICBHI数据库上，该架构实现了23%的疾病预测分数提升，并开发了实时呼吸音辨别系统，适用于可穿戴设备。
延伸解读
多模态融合如何提升呼吸音分析
Rene架构的核心创新在于将预训练语音识别模型与医疗记录信息结合。语音模型提供了对音频信号的通用表示能力，而医疗记录则补充了患者背景，这种多模态融合有助于模型更准确地识别呼吸事件和分类音频。在四项任务中，性能提升幅度在10.24%到18.90%之间，表明融合策略有效。
ICBHI数据库上的性能突破
在ICBHI数据库的疾病预测任务中，Rene架构在平均分数和谐波分数上相对基线提高了23%。这一提升幅度显著，说明结合预训练语音模型和医疗记录能有效增强模型对呼吸疾病的预测能力。ICBHI是呼吸音分析领域的常用基准，该结果具有参考价值。
实时系统与可穿戴部署的可行性
基于Rene架构开发的实时呼吸音辨别系统采用双线程设计和压缩模型参数，实现了同时麦克风录制和实时动态解码。利用边缘人工智能技术，系统能快速响应听诊，适合部署在可穿戴临床检测设备上。这种设计兼顾了实时性和便携性，为连续呼吸监测提供了可能。
与云端大模型的协同发展
文章提到，可穿戴设备捕获的增量数据能与云服务器上部署的大规模模型协同发展，用于下游任务。这种边缘-云协同架构允许设备端进行实时处理，同时利用云端强大算力持续优化模型。这为呼吸音分析的长期演进提供了可扩展的路径。
Q&A
Rene架构的主要功能是什么？
Rene架构结合预训练语音识别模型和医疗记录信息，显著提升呼吸事件检测和音频分类的性能。
Rene架构在疾病预测方面的表现如何？
在ICBHI数据库上，Rene架构的疾病预测分数相对于基线提高了23%。
Rene架构在呼吸事件检测中取得了哪些具体改进？
Rene架构在呼吸事件检测和音频分类任务中分别提高了10.24%、16.15%、15.29%和18.90%。
基于Rene架构的实时呼吸音辨别系统有什么特点？
该系统采用双线程设计和压缩模型参数，能够快速准确地响应呼吸音听诊，适用于可穿戴设备。
Rene架构如何解决以往模型的不足？
Rene架构通过引入医疗记录信息，解决了以往呼吸疾病模型在实时临床诊断中的解释性和性能不足的问题。
Rene架构的应用场景有哪些？
Rene架构适用于可穿戴设备，能够进行实时呼吸音的检测和分析，支持临床检测。
