无需指导训练数据的端到端语音助手的蒸馏
原文中文，约200字，阅读约需1分钟。发表于：。本研究解决了现有语音助手在音频与文本建模中信息丢失和复杂性增加的问题。我们提出了一种新的训练方式，使用文本仅模型的响应作为自我监督，有效地消除了对标注响应的需求。研究表明，该蒸馏语音助手（DiVA）在回答问题、分类和翻译等任务中表现出色，并在用户偏好上超越了现有最先进模型，显示出巨大的潜在影响。
本文介绍了一种结合差分可训练模型和 Transformer 的语音识别系统，提升了商用语音助理的性能。实验表明，该方法在多个模型和数据集上表现出色，经过重新标注和评估，语义准确率显著提高，具有实际应用价值。
