倾听、交谈与编辑：文本引导下的音景修改以提升听觉体验
内容提要
该文综述多项音频与语音AI研究，包括LLM-TSE将文本线索用于目标说话人提取、声音引导图像编辑、SoundFilter声音分离、流利语音编辑、语言模型声音事件检测、EditSpeech语音编辑、VoiceLDM文本到音频生成、SAMLM混合编码处理、CoEdIT文本编辑及Foley声音生成系统。
延伸解读
文本线索如何提升目标说话人提取
LLM-TSE 模型首次将文本线索用于目标说话人提取，仅使用文本线索时性能已具竞争力，结合预注册声学线索后达到新的最先进水平。这为鸡尾酒会问题提供了新思路，即利用自然语言描述来辅助分离特定说话人，未来可能应用于智能助听和会议转录等场景。
声音引导图像编辑的跨模态潜力
该研究提出将声音编码到图像-文本嵌入空间，并直接优化潜在表示来操纵图像。实验显示，在零样本音频分类和语义级图像分类上，该方法优于其他文本和声音引导的最新方法。这表明声音可以作为图像编辑的有效控制信号，为多模态交互开辟新途径。
语音编辑与生成的技术进展
流利语音编辑模型通过声学与韵律一致性约束提升自然度；EditSpeech 支持单词级删除、插入和替换，在英汉多说话人场景下优于基线；VoiceLDM 基于潜在扩散模型，结合描述和内容提示生成逼真音频。这些进展共同推动了语音编辑与生成向更自然、可控的方向发展。
声音事件检测与混合编码处理的创新
语言模型结合音频和文本特征，实现了精准的声音事件分类和时序定位，方法更简洁全面。SAMLM 利用听觉信息处理混合编码文本，通过掩码语言建模预训练，提升了鲁棒性和分类结果，并借助 SHAP 解释听觉特征的有效性。这些工作展示了语言模型在音频理解中的潜力。
Q&A
LLM-TSE 模型是如何利用文本线索来提取目标说话人的？
LLM-TSE 模型结合自然语言处理，提取用户输入文本中的语义线索，辅助预注册线索或独立控制目标说话人提取过程。实验表明，仅使用文本线索时性能有竞争力，结合预注册声学线索时创造了新的最先进水平。
EditSpeech 语音编辑系统支持哪些编辑操作？
EditSpeech 允许用户对给定语音进行单词的删除、插入和替换，同时保持原始语音质量和自然度不受影响。
VoiceLDM 模型如何生成音频？
VoiceLDM 是一个基于潜在扩散模型的文本到音频模型，通过结合描述提示和内容提示，生成与输入条件对齐的逼真音频。
SAMLM 方法如何处理混合编码文本？
SAMLM 使用来自 SOUNDEX 的单词听觉信息，包括基于掩码语言建模的预训练步骤，实验验证了其在处理混合编码任务中的鲁棒性和分类结果的改进。
CoEdIT 文本编辑模型有什么特点？
CoEdIT 是基于指令调整的 LLMs 语言模型开发的文本编辑模型，提供高质量和高效率的写作辅助。定量和量化分析表明，作家们更喜欢 CoEdIT 建议的编辑方式，相对于其他最先进的文本编辑模型。
Foley 声音生成系统在 DCASE Challenge 2023 中表现如何？
该 Foley 声音生成系统基于扩散模型，使用文本条件进行预测，通过 CLAP 技术的迁移学习进行预训练以缓解数据不足问题。实验结果表明，该方法显著提高了声音生成性能，在 DCASE Challenge 2023 任务 7 中排名第一。
