语音情绪识别和领域适应的参数高效微调
内容提要
本文综述参数高效微调（PEFT）技术，涵盖语音情感识别、多模态迁移学习、机器翻译及医学图像分析等应用。研究表明，PEFT以极少参数达到接近全量微调的性能，在数据有限时甚至更优，并显著降低计算与存储成本。
延伸解读
PEFT在数据稀缺场景下的优势
文章指出，当训练数据有限时，参数高效微调（PEFT）的性能甚至优于全量微调。例如，在机器翻译任务中，小型数据集上PEFT表现更好；在语音情感识别中，仅使用20%样本即可提升8.45%准确率并减少79%时间消耗。这表明PEFT特别适合标注数据昂贵的领域，如医学图像分析和低资源语言处理。
PEFT性能与参数预算的权衡
文章通过实证研究发现，PEFT的性能随可调参数数量减少而下降，下降幅度取决于语言对的关系。当参数预算为10%时，PEFT能达到与全量微调相近的机器翻译效果。但参数过少可能导致收敛速度慢，尤其在数据不足时。因此，实际应用中需根据任务和数据量平衡参数效率与模型性能。
PEFT在跨模态与医学领域的适用性
文章提到，PEFT已成功应用于多模态迁移学习、医学图像分析等领域。例如，Context-PEFT在COCO字幕任务上优于全量微调；针对医学图像分析，16种PEFT方法的600多次实验显示性能最高提升22%。这些案例说明PEFT能适应不同模态和任务，但可能需要针对领域特点调整适配器设计。
Q&A
参数高效微调（PEFT）是什么？
PEFT是一种通过最小参数修改使预训练模型适应下游任务的技术，旨在以极少可训练参数达到接近全量微调的性能，并显著降低计算与存储成本。
PEFT在语音情感识别中有什么应用效果？
在语音情感识别中，PEFT结合主动学习仅使用20%样本即可提升8.45%准确率并减少79%时间消耗；应用于Wav2Vec 2.0时，在IEMOCAP数据集上绝对无权重准确率提升7.4%，达到最新状态。
PEFT相比全量微调有哪些优势？
PEFT以极少参数达到接近全量微调的性能，在数据有限时甚至更优，同时显著降低计算与存储成本，提升参数效率和计算经济性。
PEFT在机器翻译任务上的表现如何？
在机器翻译任务上，当参数预算为10%时，PEFT可达到与全模型微调类似的效果；但调优参数减少时性能会下降，下降幅度取决于语言对关系；对于小型数据集，PEFT性能优于全模型微调。
PEFT在医学图像分析中有哪些应用？
PEFT在医学图像分析中通过超过600个控制实验比较了16种方法，在某些情况下表现提升高达22%，并证明对医学图像识别和文本到图像生成具有实际应用价值。
PEFT方法有哪些主要类别？
根据对视觉PEFT的综述，现有方法可分为三类：基于添加的、基于部分的和基于统一的。
