小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
谷歌DeepMind推出ATLAS多语言模型的扩展规律

谷歌DeepMind研究人员推出ATLAS,探讨多语言模型的扩展规律,分析模型规模、训练数据与语言混合的相互作用。基于774次训练,ATLAS明确了跨语言迁移与多语言训练的效率权衡,发现增加语言数量会降低每种语言的性能,但积极的跨语言迁移可部分抵消这一影响。

谷歌DeepMind推出ATLAS多语言模型的扩展规律

InfoQ
InfoQ · 2026-01-29T06:09:00Z
通过像素级回退克服词汇限制

本文提出了一种无词汇编码器,通过将文本转化为像素生成输入嵌入,增强预训练语言模型。实验结果表明,该方法在机器翻译和跨语言迁移方面显著优于基于分词的方法,同时提升了单语模型的多语言能力,并减少了解码延迟。

通过像素级回退克服词汇限制

Apple Machine Learning Research
Apple Machine Learning Research · 2025-07-14T00:00:00Z
分析语言相似性对跨语言迁移的影响:任务和输入表示的重要性

跨语言迁移是一种提升低资源环境下NLP任务训练数据的方法。本文分析了263种语言在词性标注、依存解析和主题分类等任务中的迁移情况,发现语言相似性对迁移性能的影响受任务、输入表示和相似性定义等因素的制约。

分析语言相似性对跨语言迁移的影响:任务和输入表示的重要性

Apple Machine Learning Research
Apple Machine Learning Research · 2025-06-04T00:00:00Z

本研究探讨如何利用大型语言模型提升低资源语言的机器翻译,分析了示例提示、跨语言迁移和微调等技术,并比较了大型语言模型与传统模型的优缺点。

弥合语言鸿沟:利用大型语言模型进行机器翻译的调查

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-02T00:00:00Z

本文介绍了多种词性标注方法,包括基于后缀和字形信息的快速适应标注器、bi-LSTM模型以及联合词性标注与依存分析。这些方法在不同语言和领域中表现出色,特别是在处理未分割文本和濒危语言时,结合半监督和跨语言迁移技术取得了显著提升。

利用词性标注突出句子的骨架结构

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-21T00:00:00Z

本研究探讨了多语言模型中子词共享语义的作用,提出通过合并相似子词形成“语义标记”。结果表明,这种共享语义显著提升了模型在多任务中的表现,尤其在分类任务中,使用语义标记的模型表现优异,强调了其在跨语言迁移中的重要性。

番茄、刀子、番茄:衡量多语言模型中子词共享语义的作用

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-07T00:00:00Z

研究提出了一种主动遗忘的预训练策略,提升大型语言模型在非英语语言上的表现。该方法使解码器语言模型更有效地进行跨语言迁移,实验表明模型在适应新语言时表现优异,并在多个任务中取得更好成绩。

通过主动遗忘探索预训练以改善解码器语言模型的跨语言迁移

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-21T00:00:00Z

本研究提出了一种新方法,通过结合语言和数学能力解决非英语任务中的数据不足问题。采用层交换技术的合并模型在数学基准测试中性能提升了10%,展示了跨语言迁移推理的潜力。

用于大型语言模型的零-shot跨语言迁移的层交换

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-02T00:00:00Z

本文介绍了一种生成模型,通过结构化正则先验联合学习源和目标模型参数,解决跨语言迁移问题。利用可逆投影学习公共嵌入空间,提升跨语言词嵌入效果。在英语为源的依赖树库上评估,对10种语言的词性标注和依赖分析分别提升5.2%和8.3%。

解构新加坡英语的言语颗粒与任务驱动表示

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-30T00:00:00Z

本文提出了一种生成模型,通过结构化的正则先验利用标记源数据和未标记目标数据联合学习源模型和目标模型的参数来解决跨语言迁移的问题。该方法在10种语言中获得了平均5.2%和8.3%的绝对改善。

融合词汇和句法知识的无监督跨语言迁移

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-25T00:00:00Z

研究者提出了一种利用视觉表征学习和无监督学习的框架进行文本语义学习的方法。该方法通过文本扰动实现对文本的连续感知,并通过大规模无监督主题对齐训练和自然语言推理监督来提高语义文本相似度性能。研究还展示了方法的跨语言迁移能力和语言迭代训练中的独特突破模式。

像素句子表示学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-13T00:00:00Z

本文提出了一种生成模型,通过结构化的正则先验利用标记源数据和未标记目标数据联合学习源模型和目标模型的参数来解决跨语言迁移的问题。该方法在10种语言中相较于使用最先进的判别模型的直接转移方法,在词性标注和依赖分析方面分别获得了平均5.2%和8.3%的绝对改善。

爪哇语依存分析的跨语言迁移学习

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-22T00:00:00Z

本研究介绍了两个新的多语言数据集,用于文档图像分类任务。研究对文档智能模型进行了全面研究,包括多标签分类和零样本跨语言迁移设置。实验结果显示多语言文档智能模型在跨语言迁移上存在局限性。

一个多模态多语言文件图像分类基准

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-25T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码