小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

该研究提出RWKV-7 '鹅',通过创新的状态演化方法和向量值门控,提升多语言任务中的序列建模性能与效率,超越传统变压器架构。

RWKV-7 '鹅'与表现丰富的动态状态演化

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-18T00:00:00Z
让人工智能更易获取:在Databricks上使用Meta Llama 3.3实现高达80%的成本节省

Meta Llama 3.3模型已在Databricks平台上线,推出新定价,推测推理成本降低80%。该模型在指令执行、数学和多语言任务上表现优异,助力企业构建高效AI代理和批处理。

让人工智能更易获取:在Databricks上使用Meta Llama 3.3实现高达80%的成本节省

Databricks
Databricks · 2024-12-12T17:00:22Z

本文介绍了如何使用Hugging Face的mBERT进行跨语言迁移学习,包括安装库、下载和预处理英文数据集、微调mBERT模型,并在法语数据集上评估。结果表明,模型在未训练的语言上也能良好泛化,展示了mBERT处理多语言任务的能力。

如何在Hugging Face Transformers中使用mBERT实现跨语言迁移学习

KDnuggets
KDnuggets · 2024-12-02T15:00:03Z

该论文评估了大型语言模型(LLMs)在多语言和多模态任务中的表现,发现现有模型在复杂问题上的准确率普遍低于50%,尤其在文化知识和跨语言理解方面有显著改进空间。新提出的评估工具和数据集旨在推动模型的发展和研究。

JMMMU:一个针对文化意识评估的日本大型多学科多模态理解基准

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-22T00:00:00Z

本研究提出了一种跨语言干预框架(INCLINE),旨在缩小大型语言模型在不同语言间的性能差距。通过对低表现语言与高表现语言的内部表征进行对齐,显著提升了多语言任务的性能。实验结果表明,INCLINE 在多个模型和任务中均有显著改进,具备良好的成本效益和应用潜力。

Bridging Language Gaps in Large Language Models through Inference-Time Cross-Lingual Intervention

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-16T00:00:00Z

本研究改进了传统CLIP模型,提出Robotic-CLIP,通过微调30多万段动作视频,提升了机器人感知能力。实验表明,Robotic-CLIP在多语言机器人任务和实际抓取应用中表现出色。

Robotic CLIP: Fine-tuning CLIP for Action Data Applications in Robotics

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-26T00:00:00Z

本文概述了指令调优(IT)在大型语言模型(LLMs)中的应用,探讨了IT方法论、数据集构建和模型训练等方面,指出现有策略的不足并提出改进方向。TULU 2模型及其相关数据集在多语言任务中表现优越,推动了开放资源的发展和未来的研究合作。

Aquila2 技术报告

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-14T00:00:00Z
Mistral AI与NVIDIA发布Mistral NeMo 12B:一款尖端企业AI模型

Mistral AI和NVIDIA合作推出了Mistral NeMo 12B语言模型,适用于企业应用中的聊天机器人、多语言任务、编码和摘要。该模型结合了Mistral AI的专业知识和NVIDIA的优化硬件和软件生态系统,具有高性能和128K上下文长度。Mistral NeMo以NVIDIA NIM推理微服务的形式提供,具有高效性、低计算成本、增强的安全性和隐私保护。

Mistral AI与NVIDIA发布Mistral NeMo 12B:一款尖端企业AI模型

NVIDIA Blog
NVIDIA Blog · 2024-07-18T14:00:59Z

本研究探讨了深度学习中嵌入初始化方法对自然语言处理任务的影响,发现预训练嵌入优于随机初始化,且高方差初始化会影响网络性能。研究分析了预训练词向量在低资源翻译中的提升效果,并提出了改进语言模型的有效方法,通过优化嵌入权重和参数分配,显著提高了模型在多语言任务中的表现。

使用预训练嵌入初始化 Transformer

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-17T00:00:00Z

本研究探讨了大型语言模型在跨语言常识推理中的数据增强潜力,实验表明GPT-4生成的数据性能最佳,且在多语言任务中表现优越。研究还提出了基于机器学习的模型选择方法,提升了跨语言迁移能力,显示出大型语言模型在多语言翻译和任务中的应用前景。

利用基于 LLM 的增强方法与有效数据选择来提升零 - shot 跨语言性能

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-15T00:00:00Z

本文提出了一种将外部知识图谱融入Transformer模型的方法,以解决语言模型中的幻觉和不安全输出问题。研究表明,知识神经元在存储事实知识中起着重要作用,并通过实验验证了该模型在多语言任务中的有效性。此外,提出了基于知识蒸馏的压缩方法,以应对模型过大和延迟高的问题。

预训练 Transformer 中的知识传递

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-28T00:00:00Z

本文介绍了一种名为条件遮蔽语言建模(CMLM)的新训练方法,能够在大规模未标记语料库上有效学习句子表示。CMLM在多语言任务中表现优异,尤其在跨语言语义搜索中提升了10%。该方法还探讨了去除语言偏见的可能性,同时保留句子语义,显示出在低资源设置下的优势。

探索文本生成的屏蔽语言建模和因果语言建模

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-21T00:00:00Z

本文探讨了GPT-2在自然语言任务中的表现,分析其内部机制和可解释性。研究表明,GPT-2具有限制的数学能力,并提出了新的方法(GPT4MIA)用于医学图像分析,显著提高了预测准确度。此外,评估了多种模型在多语言任务中的性能。

GPT-2 如何预测缩写词?通过机制解释提取和理解电路

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-07T00:00:00Z

本文提出了一种基于领域专家积混合策略的方法(MoKGE),旨在通过常识知识图谱提升生成推理的多样性。研究表明,MoKGE显著提高了多样性,并在多个基准测试中表现出与准确性相当的性能。此外,探讨了大型语言模型在多语言任务中的应用及其在视觉常识推理中的协同能力,提出了新的评估方法和数据集,以促进跨语言常识推理的发展。

通过上下文学习提高大型语言模型对常识生成的多样性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-25T00:00:00Z

本文介绍了一种名为XPR的跨语言短语检索方法,利用无标注例句提取短语表示,并创建了包含65K双语短语对和4.2M例句的数据集。实验结果表明,XPR在零样本迁移和多语言检索任务中表现优异,显著提升了检索能力。

跨语境上下文短语检索

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-25T00:00:00Z

该论文介绍了一种基于大规模预训练语言模型的微调技术,提出了LoRA$+$、FLoRA、PLoRA等多种改进方法,显著提升了模型性能和微调速度。这些方法在多语言任务中表现优异,优化了参数效率,解决了训练不稳定性和内存占用问题。

AutoLoRA: 基于元学习的低秩适应中矩阵秩的自动调整

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-14T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码