小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出了多种从统一意义表示(UMR)生成文本的新方法,特别关注多语言和文档级信息。通过微调技术,生成的文本在英中文的表现优异,BERTscore分别达到0.825和0.882,显示出UMR的潜在影响力。

基于统一意义表示生成文本

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-17T00:00:00Z

本文提出了一种新颖的微调技术“提示蒸馏”,有效解决大型语言模型(LLMs)获取新知识的难题,其性能与检索增强生成(RAG)相当,具有重要的应用潜力。

Knowledge Injection through Prompt Distillation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-19T00:00:00Z
语言模型微调的简要总结

语言模型的微调技术包括继续预训练、指令微调和监督微调,主要目标是知识注入和对齐。研究表明,大部分知识来自预训练,而对齐可以通过少量高质量数据实现。微调时需明确目标,以便有效评估结果。

语言模型微调的简要总结

Stack Overflow Blog
Stack Overflow Blog · 2024-10-31T14:00:00Z

本文介绍了一种新的时间序列基础模型MOMENT,结合Transformer进行预训练,提升了分类任务性能。研究建立了公共时间序列数据库Time-series Pile,解决了数据稀缺和评估基准问题。实验验证了模型在有限监督下的有效性,并提出多种微调技术以提高在医疗等领域的应用效果。

时间序列基础模型在风险价值估计中的应用

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-15T00:00:00Z

本文介绍了大型语言模型的参数高效微调(PEFT)方法,强调在选择微调技术时需考虑任务类型和数据可用性。提出了PEQA和IncreLoRA等新方法,以解决数据不足和计算资源消耗问题,提升微调效率。研究表明,ID³方法通过动态评估参数重要性,显著提高了计算效率和模型性能。

PEDRO:基于提示依赖的参数高效微调表示修改

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-26T00:00:00Z

该研究探讨了预训练代码模型的微调技术,提出了Telly技术以降低学习成本。介绍了StarCoder和CodeT5+等模型在代码生成任务中的表现,并强调了安全发布和评估系统的重要性。通过新基准测试评估大型语言模型的编码能力,发现其在真实代码库中的缺陷,并提出改进方案。

北极雪编码器:揭示代码预训练中的高质量数据

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-03T00:00:00Z

本文介绍了一种新框架,旨在提升视觉语言模型的概念理解能力。实验表明,交叉注意力和新微调技术能有效改善模型在细粒度理解上的表现。此外,研究提出了基于属性的视觉问答方法,增强了多模态场景理解,为视觉语言模型的评估和改进提供了新的基准和方法。

评估大型视觉语言模型中的属性理解能力

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-25T00:00:00Z
在 Amazon SageMaker 平台上使用 LlamaFactory 框架训练 Meta Llama3

Amazon SageMaker是一项机器学习服务,帮助数据科学家和开发人员快速准备机器学习模型。LlamaFactory是一个支持多种微调技术的框架,用于统一高效微调大型语言模型。文章介绍了在Amazon SageMaker上使用LlamaFactory框架训练Llama3的过程,包括构建镜像、训练和部署模型。

在 Amazon SageMaker 平台上使用 LlamaFactory 框架训练 Meta Llama3

亚马逊AWS官方博客
亚马逊AWS官方博客 · 2024-08-09T16:01:56Z

本文介绍了如何通过对齐技术增强大型语言模型的有益性和无害性,并提出了灵活的训练框架和有效的微调技术。通过度量方法证明了这些对齐模型在诚实性方面的显著提高。

诚实对齐

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-12-12T00:00:00Z

本文介绍了微调技术,用于提高自动语音识别系统对非标准语音的识别准确性,特别是针对肌萎缩侧索硬化症患者的言语和带口音的言语。通过训练个性化模型,相对于标准语音,相对词错误率能提高62%和35%,仅五分钟的训练就能带来71%的提升。微调部分层的结果往往比微调整个模型更好,是构建肌无力性言语最先进的自动语音识别模型的第一步。

不放过任何音高:通过调整音高解决自动语音识别中的性别不平衡问题

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-10T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码