小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出了多种从统一意义表示(UMR)生成文本的新方法,特别关注多语言和文档级信息。通过微调技术,生成的文本在英中文的表现优异,BERTscore分别达到0.825和0.882,显示出UMR的潜在影响力。

基于统一意义表示生成文本

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-02-17T00:00:00Z

本文提出了一种新颖的微调技术“提示蒸馏”,有效解决大型语言模型(LLMs)获取新知识的难题,其性能与检索增强生成(RAG)相当,具有重要的应用潜力。

Knowledge Injection through Prompt Distillation

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-12-19T00:00:00Z
语言模型微调的简要总结

语言模型的微调技术包括继续预训练、指令微调和监督微调,主要目标是知识注入和对齐。研究表明,大部分知识来自预训练,而对齐可以通过少量高质量数据实现。微调时需明确目标,以便有效评估结果。

语言模型微调的简要总结

Stack Overflow Blog Stack Overflow Blog · 2024-10-31T14:00:00Z

本文介绍了一种新的时间序列基础模型MOMENT,结合Transformer进行预训练,提升了分类任务性能。研究建立了公共时间序列数据库Time-series Pile,解决了数据稀缺和评估基准问题。实验验证了模型在有限监督下的有效性,并提出多种微调技术以提高在医疗等领域的应用效果。

时间序列基础模型在风险价值估计中的应用

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-15T00:00:00Z

本文介绍了大型语言模型的参数高效微调(PEFT)方法,强调在选择微调技术时需考虑任务类型和数据可用性。提出了PEQA和IncreLoRA等新方法,以解决数据不足和计算资源消耗问题,提升微调效率。研究表明,ID³方法通过动态评估参数重要性,显著提高了计算效率和模型性能。

PEDRO:基于提示依赖的参数高效微调表示修改

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-09-26T00:00:00Z

该研究探讨了预训练代码模型的微调技术,提出了Telly技术以降低学习成本。介绍了StarCoder和CodeT5+等模型在代码生成任务中的表现,并强调了安全发布和评估系统的重要性。通过新基准测试评估大型语言模型的编码能力,发现其在真实代码库中的缺陷,并提出改进方案。

北极雪编码器:揭示代码预训练中的高质量数据

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-09-03T00:00:00Z

本文介绍了一种新框架,旨在提升视觉语言模型的概念理解能力。实验表明,交叉注意力和新微调技术能有效改善模型在细粒度理解上的表现。此外,研究提出了基于属性的视觉问答方法,增强了多模态场景理解,为视觉语言模型的评估和改进提供了新的基准和方法。

评估大型视觉语言模型中的属性理解能力

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-08-25T00:00:00Z
在 Amazon SageMaker 平台上使用 LlamaFactory 框架训练 Meta Llama3

Amazon SageMaker是一项机器学习服务,帮助数据科学家和开发人员快速准备机器学习模型。LlamaFactory是一个支持多种微调技术的框架,用于统一高效微调大型语言模型。文章介绍了在Amazon SageMaker上使用LlamaFactory框架训练Llama3的过程,包括构建镜像、训练和部署模型。

在 Amazon SageMaker 平台上使用 LlamaFactory 框架训练 Meta Llama3

亚马逊AWS官方博客 亚马逊AWS官方博客 · 2024-08-09T16:01:56Z

该研究探讨了自动语音识别(ASR)系统在不同口音上的普适性,提出了无监督学习、微调技术和声学知识等方法以提高识别准确性和鲁棒性。研究表明,合成口音数据和个性化模型训练能显著提升对非标准语音的识别效果,尤其在不同口音情境下表现优异。

聚类和挖掘重音语音以实现包容和公正的语音识别

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-08-05T00:00:00Z

该论文综述了大型语言模型的数据选择方法及研究进展,强调无标签开放数据的使用和经济高效的微调技术。通过优化数据选择,提升模型性能,并探讨AI的道德应用及其在社会价值观下的部署重要性。研究表明,新方法显著提高数据效率,降低训练成本。

抛弃糟粕保留精华:关于大规模语言模型微调中的数据选择的思考

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-20T00:00:00Z

本文探讨了Child-Tuning微调技术,通过遮盖非子网络的梯度,提升了模型在GLUE基准测试中的表现,平均提高1.5至8.6分。研究表明,Child-Tuning显著增强了模型在领域转移和任务转移中的泛化能力。

神经细胞谱系

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-17T00:00:00Z

本文介绍了DataInf,一种高效的影响力近似计算方法,适用于大规模生成型AI模型。DataInf在计算和内存效率上优于现有算法,特别适合LoRA等微调技术。实证评估表明,DataInf能够准确识别影响最大的微调示例,并帮助发现错误标记的数据点。

大规模语言模型的基于令牌的影响训练数据检索

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-05-20T00:00:00Z

该论文介绍了多种基于大规模预训练语言模型的微调技术,如MTLoRA、AutoLoRA、PLoRA和IncreLoRA,旨在提升模型性能和参数效率。研究表明,LoRA方法在保持基础模型表现的同时,增强了正则化效果,并提出了优化微调过程的最佳实践建议。

MoRA: 参数高效微调的高阶更新

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-05-20T00:00:00Z

该论文介绍了一种基于大规模预训练语言模型的微调技术,通过矩阵变换提升模型性能。研究提出了多任务网络生成合成CT的方法,以优化骨密度预测。同时,介绍了Crowd Localization Transformer和VRS-NeRF框架,增强了物体检测和视觉重定位的准确性。此外,探讨了深度学习在癫痫定位和电阻抗成像中的应用,展示了其在医疗领域的潜力。

在前向模型不确定性存在的情况下进行大脑源定位的鲁棒 eLORETA 技术

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-05-09T00:00:00Z
LLM论文阅读

本文探讨了大语言模型(LLM)的最新研究进展,包括模型性能与规模、数据量和计算量的关系,以及涌现能力的定义。介绍了前缀调整和低秩适应等微调技术,强调了量化和数据处理的重要性,以提高模型的效率和性能,并提到了一些数据预处理策略,以确保训练数据的质量。

LLM论文阅读

Sekyoro的博客小屋 Sekyoro的博客小屋 · 2024-05-01T07:39:46Z

当前大型视觉语言模型面临生成有害内容和易受攻击的问题。研究提出了VLGuard数据集,结合微调技术提升模型安全性,降低黑盒攻击成功率。通过引入安全向量和修剪方法,增强模型对越狱攻击的抵抗力,同时发现微调可能引入新的安全风险,强调需改进安全协议以应对这些挑战。

您的 “安全” 数据中有什么?:识别破坏安全性的良性数据

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-01T00:00:00Z

该论文介绍了一种基于大规模预训练语言模型的微调技术,提出了LoRA$+$、FLoRA、PLoRA等多种改进方法,显著提升了模型性能和微调速度。这些方法在多语言任务中表现优异,优化了参数效率,解决了训练不稳定性和内存占用问题。

AutoLoRA: 基于元学习的低秩适应中矩阵秩的自动调整

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-03-14T00:00:00Z

本文介绍了如何通过对齐技术增强大型语言模型的有益性和无害性,并提出了灵活的训练框架和有效的微调技术。通过度量方法证明了这些对齐模型在诚实性方面的显著提高。

诚实对齐

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-12-12T00:00:00Z

本文介绍了微调技术,用于提高自动语音识别系统对非标准语音的识别准确性,特别是针对肌萎缩侧索硬化症患者的言语和带口音的言语。通过训练个性化模型,相对于标准语音,相对词错误率能提高62%和35%,仅五分钟的训练就能带来71%的提升。微调部分层的结果往往比微调整个模型更好,是构建肌无力性言语最先进的自动语音识别模型的第一步。

不放过任何音高:通过调整音高解决自动语音识别中的性别不平衡问题

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-10T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码