小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文介绍了一种基于图形表现的异构人脸识别方法(G-HFR),该方法利用马尔可夫网络表示异构图像补丁,考虑空间兼容性,实验结果表明其性能优于现有方法。此外,提出了一种新的元宇宙通信范式,通过三维面部描述符实现语义压缩,提升了灵活性和效率,促进了基于人工智能的理解。

面向符号学人工智能的计算视觉与视觉符号学之间的桥梁:用于大规模人脸图像档案的计算观察

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-03T00:00:00Z

本研究提出了一种新颖的语义压缩方法,旨在提高基于Transformer的大型语言模型(LLM)在长上下文处理中的效率。通过量化KV缓存激活和上下文压缩,LLM能够处理更长文本而无需显著计算开销。实验表明,该方法有效扩展了上下文窗口,并显著降低了长文档问答的成本,展示了LLM在长上下文理解方面的潜力与挑战。

KV 缓存压缩,我们必须拿什么作为交换?长上下文能力方法的全面基准测试

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-01T00:00:00Z

本文介绍了UniMem框架,提出了UniMix算法,显著降低计算复杂度并提升对话任务性能。同时,介绍了LongMem框架和语义压缩方法,扩展了大型语言模型的上下文窗口,改善文本生成效果。LLoCO方法通过上下文压缩和高效微调,提高了长文档问答的效率,提供了有效的长上下文处理方案。

UIO-LLMs:面向长上下文 LLMs 的无偏增量优化

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-26T00:00:00Z

本文介绍了多种扩展大型语言模型(LLMs)上下文窗口的方法,包括RoPE扩展、E2-LLM、语义压缩和递归上下文压缩等。这些方法有效提升了模型处理长文本的能力,降低了计算成本,并在多个任务中表现出优越性能。此外,研究还发布了新的长上下文模型和基准测试,以支持未来研究。

从容不迫:大型语言模型上上下文窗口扩展的高效配方,持续关注 “中间” 增强

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-11T00:00:00Z

本文提出了一种新颖的语义压缩方法,旨在提升大型语言模型(LLM)处理长文本的能力。该方法通过减少语义冗余,将上下文窗口扩展至128k个令牌,同时显著降低计算开销和内存使用。实验结果显示,该方法在问答和摘要任务中表现优异,为高效处理长文本提供了解决方案。

循环上下文压缩:高效扩大 LLM 的上下文窗口

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-10T00:00:00Z

本文提出了一种新颖的语义压缩方法,使大型语言模型(LLM)能够处理更长文本而无需显著的计算开销。该方法通过减少语义冗余,扩展了LLM在问答和摘要等任务中的上下文窗口。同时,研究介绍了LongMem和UniMem框架,提升了模型对历史上下文的利用能力,并提出了Attention Transition技术,显著改善了长文本理解。

层次化上下文合并:提升预训练语言模型对长上下文的理解能力

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-16T00:00:00Z

本文提出了一种新颖的语义压缩方法,使大型语言模型(LLM)能够在处理长文本时减少计算开销。该方法通过降低语义冗余,提升了模型在问答和摘要等任务中的表现,并展示了在保持语义完整性的同时实现高达20倍的压缩效果。

在神经压缩文本上训练 LLMs

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-04T00:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码