小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
谷歌DeepMind推出ATLAS多语言模型的扩展规律

谷歌DeepMind研究人员推出ATLAS,探讨多语言模型的扩展规律,分析模型规模、训练数据与语言混合的相互作用。基于774次训练,ATLAS明确了跨语言迁移与多语言训练的效率权衡,发现增加语言数量会降低每种语言的性能,但积极的跨语言迁移可部分抵消这一影响。

谷歌DeepMind推出ATLAS多语言模型的扩展规律

InfoQ
InfoQ · 2026-01-29T06:09:00Z
通过像素级回退克服词汇限制

本文提出了一种无词汇编码器,通过将文本转化为像素生成输入嵌入,增强预训练语言模型。实验结果表明,该方法在机器翻译和跨语言迁移方面显著优于基于分词的方法,同时提升了单语模型的多语言能力,并减少了解码延迟。

通过像素级回退克服词汇限制

Apple Machine Learning Research
Apple Machine Learning Research · 2025-07-14T00:00:00Z
分析语言相似性对跨语言迁移的影响:任务和输入表示的重要性

跨语言迁移是一种提升低资源环境下NLP任务训练数据的方法。本文分析了263种语言在词性标注、依存解析和主题分类等任务中的迁移情况,发现语言相似性对迁移性能的影响受任务、输入表示和相似性定义等因素的制约。

分析语言相似性对跨语言迁移的影响:任务和输入表示的重要性

Apple Machine Learning Research
Apple Machine Learning Research · 2025-06-04T00:00:00Z

本研究探讨如何利用大型语言模型提升低资源语言的机器翻译,分析了示例提示、跨语言迁移和微调等技术,并比较了大型语言模型与传统模型的优缺点。

弥合语言鸿沟:利用大型语言模型进行机器翻译的调查

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-02T00:00:00Z

本文介绍了多种词性标注方法,包括基于后缀和字形信息的快速适应标注器、bi-LSTM模型以及联合词性标注与依存分析。这些方法在不同语言和领域中表现出色,特别是在处理未分割文本和濒危语言时,结合半监督和跨语言迁移技术取得了显著提升。

利用词性标注突出句子的骨架结构

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-21T00:00:00Z

本研究探讨了多语言模型中子词共享语义的作用,提出通过合并语义相似的子词形成“语义标记”。结果显示,使用语义标记的模型在多种任务中表现优异,尤其在分类任务中,强调了子词级别共享语义在跨语言迁移中的重要性。

Tomato, Tomahto, Tomate: Measuring the Role of Shared Semantics among Subwords in Multilingual Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-07T00:00:00Z

本研究提出了ArtELingo-28基准,涵盖28种语言和约20万个注释,旨在解决视觉与语言基准在多语言和多文化视角上的不足。研究强调文化多样性对图像情感注释的挑战,并发现跨语言迁移在文化相关语言间更为成功。

No Culture Left Behind: ArtELingo-28, a Benchmark of WikiArt Covering 28 Languages

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-06T00:00:00Z

本研究提出了一种主动遗忘的预训练策略,以提升解码器语言模型在非英语语言上的表现。实验结果表明,该方法有效增强了模型的跨语言迁移能力,改善了多语言表示,从而在多个任务中取得了更好的性能。

Exploring Pretraining via Active Forgetting to Improve Cross-Lingual Transfer of Decoder Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

本研究提出了一种新方法,通过结合语言和数学能力解决非英语任务中的数据不足问题。采用层交换技术的合并模型在数学基准测试中性能提升了10%,展示了跨语言迁移推理的潜力。

Layer Exchange for Zero-Shot Cross-Language Transfer in Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-02T00:00:00Z

本研究探讨了多语言模型在不同语言推理中的逻辑推理能力转移。结果表明,单语言设置下模型能有效传递推理能力,但在混合代码情况下表现不佳。为此,提出了一种新注意机制,显著提升了推理性能。此外,研究发现推理类型和语言相似性对跨语言迁移效率有重要影响,强调了优化大型语言模型以发挥其跨语言潜力的必要性。

大型语言模型是跨语言无领域知识的推理耠

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-24T00:00:00Z

本文介绍了SemRel,一个由14种语言的母语者注释的语义相关性数据集。研究探讨了句子对之间的语义文本相关性,开发了针对非洲和亚洲语言的模型,并在SemEval-2024任务中取得了优异成绩。研究还关注数据增强和跨语言迁移,以提升低资源语言的自然语言处理性能。

NLU-STR 在 SemEval-2024 任务 1 中的应用:基于生成的增强和基于编码器的评分方法用于语义文本相关性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-01T00:00:00Z

本研究探讨了多语言BERT(mBERT)在跨语言迁移中的应用,提出通过语言语法和依赖树结构编码来提升自然语言处理任务的性能。研究表明,利用无监督机器翻译生成的合成平行语料库能够有效提取双语词汇表,并在多种语言间实现显著的性能提升。

融合词汇和句法知识的无监督跨语言迁移

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-25T00:00:00Z

本文介绍了MasonTigers在SemEval-2024任务1中的成果,开发了针对非洲和亚洲语言的语义文本相关性模型TranSem。该任务涵盖14种语言,重点解决低资源语言的挑战,采用机器翻译进行数据增强,并通过任务自适应预训练提高模型表现。MasonTigers在多个子任务中取得了优异成绩,展示了跨语言迁移的有效性。

MaiNLP 在 SemEval-2024 任务 1 中的表现:跨语言文本相关性中的源语言选择分析

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-03T00:00:00Z

研究者提出了一种利用视觉表征学习和无监督学习的框架进行文本语义学习的方法。该方法通过文本扰动实现对文本的连续感知,并通过大规模无监督主题对齐训练和自然语言推理监督来提高语义文本相似度性能。研究还展示了方法的跨语言迁移能力和语言迭代训练中的独特突破模式。

像素句子表示学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-13T00:00:00Z

本文提出了一种生成模型,通过结构化的正则先验利用标记源数据和未标记目标数据联合学习源模型和目标模型的参数来解决跨语言迁移的问题。该方法在10种语言中相较于使用最先进的判别模型的直接转移方法,在词性标注和依赖分析方面分别获得了平均5.2%和8.3%的绝对改善。

爪哇语依存分析的跨语言迁移学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-22T00:00:00Z

本研究介绍了两个新的多语言数据集,用于文档图像分类任务。研究对文档智能模型进行了全面研究,包括多标签分类和零样本跨语言迁移设置。实验结果显示多语言文档智能模型在跨语言迁移上存在局限性。

一个多模态多语言文件图像分类基准

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-25T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码