大型语言模型在文本处理中的成功促使其应用于语音建模,但现有语音标记主要关注语言特征,忽视韵律信息,导致生成语音自然性不足。为此,我们提出一种端到端的变分方法,自动学习连续语音属性,增强语义标记,避免手动特征提取。
本研究提出了一种新的语音推测解码(SSD)框架,旨在解决自回归语音合成模型的推理延迟问题。SSD通过轻量级草稿模型生成候选标记序列,推理速度提高了1.4倍,同时保持了高保真度和自然性。
当前大型语言模型主要以英语为主,导致多语言输出不自然。本文提出新的自动化语料库评估指标,评估多语言环境下LLM输出的自然性,并在法语和中文中进行测试,发现英语影响的模式。为改善这一问题,提出了一种简单有效的对齐方法,提升目标语言的自然性,同时不影响通用基准的表现。
本研究提出ExGes框架,优化音频驱动的人类手势合成,解决了粗糙性和表现性不足的问题。通过构建手势库和应用对比学习等技术,显著提升了生成手势的自然性和语义相关性,实验结果表明其优于现有方法。
本研究提出了一种低秩个性化文本转语音生成模型(LoRP-TTS),旨在改善传统语音合成模型在嘈杂环境中模拟非工作室质量样本的不足。该模型通过低秩适应方法显著提高了说话者的相似度,同时保持了内容的自然性,为多样化语音语料库的建立提供了基础。
本研究提出了一种实时无文本对话生成模型(RTTL-DG),旨在提高语音对话系统的自然性。该模型通过处理流式语音对话,增强互动流畅性,并引入副语言信号,如回传信号和笑声,以提升人性化水平。
本文评估了在语法和语义约束下生成事件描述的不同方法,结果显示,尽管自动生成的质量较高,但人工生成在自然性和独特性方面更具优势。
本研究探讨了通过插入不流畅性来提升大型语言模型生成语句的自然性。尽管不流畅性可能稍微降低可懂性,但显著提高了用户对生成语音自然感的印象。
本研究提出了一种歌词生成框架,解决了音节控制的挑战,支持在词、短语、行和段落层面进行管理,从而提高歌词生成的自然性和准确性。
本文探讨了识别AI生成文本的方法,指出AI语言通常过于完美,句子结构平衡且用词冗余,而人类写作则更随意,常有语法错误和不规则句子。文章提供了提升写作自然性的技巧。
该研究探讨了大型语言模型(LLMs)的多语言能力及其局限性,分析了不同语言的表现,提出了改进建议,并探讨了未来研究方向。
本研究强调云端语音助手中语音匿名化的重要性,提出了一种基于人类听觉系统的感知驱动损失函数。使用该函数的VQVAE模型在自然性、可懂度和韵律上优于传统模型,同时保持说话者匿名性,并在多种数据集、语言和性别中表现良好。
通过删除敏感表达和抽象敏感细节,我们使用两种常见的人类策略对敏感文本进行了清理,以保护隐私,并开发了一个文本重写的工具,展示了更自然的重写结果和隐私保护与数据效用之间的平衡。
该研究探讨了基于参考文献的评估指标在问题生成中的局限性,提出了一种新方法,利用大型语言模型评估问题的自然性、可回答性和复杂性。实验证明,该方法能够有效区分高质量与低质量问题,并与人类判断一致。研究建议将自由度量作为分析工具,而非评估模型表现的指标。
本文介绍了HUMANISE数据集及其在人体运动生成中的应用,探讨了基于语言和场景的生成模型,以提高人体动作的自然性和多样性。文章回顾了相关研究、数据集和评估指标,并提出了未来的研究方向。
研究发现语义保持转换的自然性对NPR系统评估有影响,60%的转换被认为是自然的,20%的转换被认为是不自然的。不自然的转换对NPR系统的稳健性测试造成了25.2%的误报率,自然转换下NPR系统性能显著下降。研究提出了基于交叉熵的新自然度度量标准,并成功实现了代码转换的自然度自动评估。
本文研究了通过层次语义约束器(HSR)改善StyleGANs生成图像的真实性和自然性,并提出了Attribute Linearity Score(ALS)来衡量属性变量的线性度。实验结果显示,HSR可以约束生成器学习到的分层表征,提高样式编辑后图像的自然性和真实性,同时提高属性变量的线性度。
本文研究了CodeBERT模型基于AST和静态分析的能力,通过自我关注机制和MLM在令牌级别上学习代码语法和语义。文章提出了一组任务来分析CodeBERT模型,并提出了一种替代方法来预训练模型,以学习代码语法和语义。
攻击者可以使用视觉对抗样本来影响与大型语言模型连接的用户资源的机密性和完整性。这些攻击可以操控LLM调用工具,并保持与原始图像的高相似度。然而,对话没有受到显著影响。
完成下面两步后,将自动完成登录并继续当前操作。