本研究解决了视觉语言模型(VLM)在处理多语种输入时生成英语回复的限制问题,提出了一种连续的多语种融合策略,在视觉指令调优过程中注入文本多语种数据,从而保留语言模型的多语种能力。研究结果表明,该方法在不影响视觉性能的前提下显著提升了多语言的语言保真度,提供了一个有效的解决方案以推动全球VLM的应用。
本研究提出了一种新颖的混合蒸馏方法,旨在提升低资源语言多语种模型的知识蒸馏性能。实验结果表明,该方法在五种非洲语言上表现优异,学生模型体积比传统模型小85%,准确率保持在85%。
本研究提出海考试和海基准,解决了东南亚多语种数据集的不足,强调真实查询在评估大型语言模型表现中的重要性。
本研究提出了MultiLingPoT多语言程序推理方法,解决了现有程序思维方法仅关注单一编程语言的问题。该方法通过多语言数据微调,提升了数学推理能力,混合使用时性能提高6%。
本研究探讨了多语种检索增强语言模型在处理多样语言时的挑战,提出了《Futurepedia》基准测试,评估六个多语种RALMs,揭示语言资源不均等问题并提出改进建议。
本研究提出了Multi-IF基准,解决现有基准无法全面反映多轮多语种交互复杂性的问题。通过结合大型语言模型和人类注释,评估模型在多轮多语种指令执行中的能力。研究发现,最新的语言模型在多轮指令执行中失败率增加,尤其在非拉丁文字语言中,显示出多语种能力的局限性。
研究探讨大型语言模型在非英语语言中的信心估计。通过多语种信心估计方法(MlingConf),分析语言无关和语言特定任务的表现。结果显示,英语在语言无关任务中表现优越,而使用相关语言提示可提升语言特定任务的信心估计,提高模型可靠性和准确性。
研究分析了分词对多语种语言模型形态知识的影响,比较了mT5和ByT5在不同语言上的形态学理解。结果表明,中晚层编码的形态信息显著影响模型表现,尤其在处理不规则语言时,增加预训练数据能提升效果。
本文探讨了使用单一声学模型进行多语言训练来提升低资源语言语音识别的效果。研究在51种语言上测试,结果表明多语言模型比单语言模型更有效,尤其对低资源语言,平均WER减少20.9%至28.8%。这是首次对超过50种语言的大规模多语言ASR研究。
通过使用大型语言模型,本研究提出了新的高质量数据集,用于五种欧洲语言的答案句子选择(AS2)任务,并通过多个实验证明这些数据集对于生成强大且跨语言的 AS2 模型至关重要,显著缩小了英语和其他语言之间的性能差距。
本文介绍了ICASSP Signal Processing Grand Challenge 2023中Spoken Language Understanding Grand Challenge的低资源领域适应赛道中的系统。使用ASR和NLU的流水线方法,通过微调Whisper和BART实现ASR和NLU。应用了MLM-based数据增强和基于检索的方法。在reminder/weather领域实现了63.3/75.0的精确匹配准确率,获得第一名。
本文旨在通过保留核心内容的同时改变文本的语言风格,重点研究了情感转换这一重要的文本风格转换子任务,涵盖印度语言的广泛范围,包括印地语、马加伊语、马拉雅拉姆语、马拉地语、旁遮普语、奥迪亚语、泰卢固语和乌尔都语;本文介绍了每种语言的正负样式平行句的专门数据集,评估并比较了各种基准模型在平行数据、非平行数据、跨语言学习和共享学习方法中的性能,其中包括 Llama2 和 GPT-3.5...
根据电视游戏节目数据分析,发现一种基于大型语言模型的检测器模型,具有与人类相似的真相检测能力,能够发现人类无法察觉的欺骗语言线索并增强真相检测能力。
在法律领域中,我们提供了 EUROPA 数据集来支持多语言关键短语生成,利用欧洲联盟 (EU) 法院的法律判决作为数据源,涵盖了所有 24 种 EU 官方语言。我们在此数据集上运行了多语言模型并分析了结果,结果显示在特定领域的多语言语料库上仍有改进的空间。
该研究探讨了对深度学习模型中的序列到序列模型进行对抗攻击的影响。研究发现,机器翻译模型对已知最佳对抗攻击表现出鲁棒性,但在次优方法中,该攻击方法优于其他方法。另外,基于混合单个字符的攻击也是一个有力的候选方法。
通过 TransliCo 框架中的 Transliteration Contrastive Modeling (TCM) 对 mPLM 进行精调,通过对其训练数据中的句子及其在统一脚本 (Latn) 中的音译进行对比,确保了不同脚本的统一表示空间,解决了多语言预训练语言模型在跨语言知识学习中面临的脚本障碍,并表现出更好的性能。
通过创建MuTox音频数据集,实现了跨多语言的零射击毒性检测,AUC值提高超过1%,语言覆盖范围扩大10倍以上。与基于文本的分类器相比,MuTox的精确度和召回率提高约2.5倍,显示出其在音频毒性检测领域的潜力。
研究使用Codex探讨将自然语言书写的数学转化为可以被程序检查正确性的形式语言的能力。Codex可以以近75%的准确率进行短数学陈述的形式化,并以自然语言形式翻译本科水平的13个定理的证明。大型语言模型是完全或部分自动化形式化的有前景的途径。
该研究通过对抗训练和数据增强提高多语言神经机器翻译模型的稳健性,并评估了稳健性在多语言翻译中的可传递性。实验结果表明,稳健性在一个翻译方向获得的情况下可以传递到其他翻译方向,字符级和词级噪声的稳健性更有可能传递。
本研究描述了习语翻译及相关问题,并找到了适合使用习语翻译的临界点。同时,编制了一个包含约4千个自然句子的数据集,并引入了两种简单有效的技术来提高强大预训练机器翻译模型的准确度。
完成下面两步后,将自动完成登录并继续当前操作。