小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出了一种新方法Panacea,旨在应对有害细调攻击的安全风险。该方法通过自适应扰动来恢复模型的安全性,同时保持细调性能。实验结果表明,平均有害得分降低最高可达21.5%。

万应药: 通过后细调扰动减轻大规模语言模型的有害细调

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-30T00:00:00Z

本研究探讨了基础模型在特定人脸识别中的适用性,发现其表现不佳。经过细调的基础模型在数据有限时优于从头训练的模型,且计算成本更低,同时研究了人脸识别中的偏差问题。

基础模型:基础模型是否适合人脸识别?

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-31T00:00:00Z

研究表明,使用大型语言模型(LLM)进行翻译时,仅需32个实例进行细调即可显著提升翻译效果。选择翻译方向至关重要,英语细调可能导致误解,影响其他语言的翻译。引入噪声时,目标语言的表示质量也会影响结果。成功对齐需要教会模型保持“表面”关注,以避免错误偏差。

L3Ms -- 拉格朗日大语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-28T00:00:00Z

研究显示,大型语言模型在仅用32个实例细调后,具备强大翻译能力。单向细调可实现多方向翻译,但翻译方向选择很重要。用英语细调可能导致误解,尤其在目标语言表示良好时,噪声影响更大。对表示不足的语言,噪声影响较小。成功对齐依赖于模型保持表面关注,避免偏差影响。

大型语言模型在多领域翻译中的应用:基准测试与领域链思维微调

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-03T00:00:00Z

研究显示,大型语言模型在仅用32个实例细调后,具备强大翻译能力。单向细调可实现多方向翻译,但翻译方向选择很重要。用英语细调可能导致误解,尤其在目标语言表示良好时,噪声影响更大。对于表示不足的语言,噪声影响较小。成功对齐依赖于模型保持表面关注,避免学习错误偏差。

为多语言推理修剪多语言大型语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-25T00:00:00Z

研究发现,使用大型语言模型进行细调后,仅用32个训练实例即可实现强大的翻译能力。单向细调可以实现多方向翻译,但选择翻译方向很重要。在目标语言侧进行细调可能导致任务误解,对非英语语言的翻译造成阻碍。对于不充分表示的语言,噪声的影响较小。成功对齐取决于教会模型保持“表面”关注,避免学习错误的偏差影响翻译。

数据足够吗?针对内部翻译的语言模型微调:多数据集规模下的性能评估

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-05T00:00:00Z

本文研究了提高大型语言模型性能的方法,包括细调、RAG和软提示等。测试发现,经过细调的模型和RAG方法在回答事件问题方面表现优于未修改版本的GPT 3.5。应用软提示可以显著提高性能。

PEER:使用多智能体框架和调整方法专业化领域特定任务

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-09T00:00:00Z

通过在互联网数据上训练视觉语言模型,将其融入机器人控制中,提高泛化能力和语义推理。实验证明,该方法能够提供性能优越的机器人策略,并使机器人具备对新对象的泛化能力和对用户指令的初步推理能力。同时,机器人可以通过思维链式推理进行多阶段的语义推理。

通过强化学习将大型视觉语言模型细调为决策代理

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-16T00:00:00Z

最近的语言模型在生成虚假文本方面存在问题,可能对人造成伤害。研究发现,这是固有的统计原因,与架构和数据质量无关。预训练模型可能需要后期处理以减轻幻觉。不过,预训练不会在引用和算术计算等事实上产生幻觉。

对新知识进行细调的 LLMs 是否鼓励产生幻觉?

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-09T00:00:00Z

研究发现,使用大型语言模型进行细调后,仅用32个训练实例即可实现强大的翻译能力。单向细调可以实现多方向翻译,但选择翻译方向很重要,否则可能导致任务误解。在引入噪声时,对于预训练中具有较好表示的语言,问题更加明显。成功对齐取决于保持“表面”关注,避免学习错误的偏差。

对大型语言模型进行微调以进行翻译:杂噪语言数据对齐是否足够?

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-22T00:00:00Z

Cloudflare宣布在Workers AI上推出了LoRA的开放测试版。LoRA是一种细调方法,可以将细调权重和预训练模型分开,从而减少可训练参数和GPU内存需求,提高效率和成本效益。Workers AI非常适合运行LoRA,可以将多个LoRA适配器插入一个基础模型。Cloudflare构建了一个多租户的LoRA服务系统,优化了GPU资源利用率,并提供低推理延迟。公司计划在未来支持更多模型和任务类型,并致力于提供一键细调服务。

在 Workers AI 上使用 LoRA 运行微调模型

The Cloudflare Blog
The Cloudflare Blog · 2024-04-02T13:00:48Z

在自然语言处理应用中,研究人员希望提高预测性能并寻求准确解释。研究发现多语言模型的解释准确性与单语言模型存在差异,且多语言模型越大,特征归因方法的解释准确性越低。分析表明,这种差异可能由模型分词器之间的差异引起。

多语言和单语细调语言模型的解释忠实度比较

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-19T00:00:00Z

本文研究了提高大型语言模型性能的方法,包括细调、RAG和软提示等。测试发现,经过细调的模型和RAG方法在回答事件问题方面表现优于未修改版本的GPT 3.5。应用软提示可以显著提高性能。

微调与检索增强生成:面向不那么流行的知识

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-03T00:00:00Z

我们引入了一个新的基准数据集MULTITuDE,用于多语言机器生成文本检测。该数据集包括11种语言的真实和机器生成的文本,共计74,081个样本。通过比较零样本和微调检测器的性能,评估了这些检测器在未见过的语言和未见过的模型上的泛化性能。

KInIT 参加 SemEval-2024 任务 8:用于多语言机器生成文本检测的细调 LLMs

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-21T00:00:00Z

该文章介绍了一种新的开放域个性化图像生成模型Subject-Diffusion,通过构建大规模数据集和设计新的统一框架,实现了在任何领域中支持个性化生成单一或多个主体的能力。该模型在单一、多个和人类定制的图像生成方面表现优于其他框架。

基于对象驱动的一次性细调文本到图像扩散与原型嵌入

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-28T00:00:00Z

通过核苷酸序列语言模型和PubMed文章的文本语言模型,提出了细调核苷酸序列语言模型和文本语言模型的方法,以及结合两个模型的集成方法。该方法在药物抗性类别预测中表现出更好的性能。

利用大型语言模型预测抗菌性能

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-01T00:00:00Z

本文对多种大语言模型进行了评估,包括Alpaca、Alpaca-LoRA和GPT-3.5,针对在线文本数据中的心理健康预测任务。实验结果显示,LLMs在零样本和少样本提示设计上有限但有希望的性能。指令微调可以显著提升LLMs在所有任务上的表现。最佳微调模型Mental-Alpaca在平衡精度上比GPT-3.5高出16.7%,与最先进的任务特定模型相媲美。提供了行动指南,介绍如何赋予LLMs更好的心理健康领域知识,并成为心理健康预测任务的专家。

针对在线性侵犯聊天和辱骂性文本的细调 Llama 2 大型语言模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-08-28T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码