小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究提出动态分配软令牌(DAST)方法,旨在解决大型语言模型在处理长上下文时的计算低效和冗余问题。通过结合局部和全局信息,DAST实现了高效的上下文感知压缩,实验结果表明其性能优于现有方法。

DAST: Context-Aware Compression in Large Language Models via Dynamic Allocation of Soft Tokens

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-17T00:00:00Z
用于多视角视频压缩的显隐混合表达

随着3D显示和虚拟现实技术的发展,多视角视频的压缩面临挑战。本文提出了一种隐式-显式集成的压缩方法,结合2D编解码器与隐式神经表示,显著提升了压缩性能和重建质量。实验结果表明,该方法在视角压缩方面优于现有标准。

用于多视角视频压缩的显隐混合表达

实时互动网
实时互动网 · 2025-02-13T06:20:45Z

本研究提出了TreeKV,一种直观且无需训练的键值缓存压缩方法,旨在解决长序列和资源有限环境中的信息保留问题。TreeKV通过树结构实现平滑缓存压缩,在语言建模任务中表现优异,相比基线模型在长上下文中显著提升性能,最佳效率仅需6%的预算。

TreeKV:基于树结构的平滑键值缓存压缩

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-01-09T00:00:00Z

本研究提出了一种奇异值缩放(SVS)技术,旨在解决现有生成模型压缩方法的局限性。SVS适用于生成对抗网络(GAN)和扩散模型,通过最小化修剪权重的奇异值差异,提高模型微调效率,显著改善压缩性能,且无需增加训练成本。

Singular Value Scaling: Efficient Generative Model Compression via Pruned Weights Refinement

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-23T00:00:00Z

本研究提出了一种新的视频扩散模型压缩方法,通过去除冗余浅层区块,提升推理速度,同时保持生成视频的质量和一致性。实验结果表明,该方法显著加快了文本和图像生成视频的推理时间。

视频扩散模型的个体内容与运动动态保留修剪

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-27T00:00:00Z

该研究提出了一种粗到细的视觉标记压缩方法,有效解决了高分辨率图像带来的视觉标记数量激增和计算成本增加的问题,并在多个数据集上验证了其有效性。

FocusLLaVA: A Coarse-to-Fine Approach for Efficient and Effective Visual Token Compression

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-21T00:00:00Z

本研究提出了一种新颖的基于扩散的3D点云压缩方法Diff-PCC,解决了传统方法在质量和性能上的不足。该方法通过双空间潜在表示和扩散生成器,实现了在超低比特率下的优越压缩性能和高质量重建。

Diff-PCC: Diffusion-based Neural Compression for 3D Point Clouds

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-08-20T00:00:00Z

本文探讨了大型语言模型(LLMs)的压缩方法,提出了一种基于无损数据压缩的排序方法,并比较了不同模型在自然语言处理任务中的表现。研究发现,压缩比率与模型性能正相关,通过剪枝和稀疏性诱导正则化等技术,可以在保持性能的同时显著减少模型参数,提高计算效率。

从数据压缩角度测量数据修剪中样本重要性

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-06-20T00:00:00Z

系统内缓存CPU使用率超过报警阀值,需要解决大key使用问题。大key定义为单个String类型Key大小达到20KB且OPS高、单个String达到100KB、集合类型Key总大小达到1MB、集合类型Key中元素超过5000个。大key导致客户端超时阻塞、网络阻塞、工作线程阻塞和内存分布不均。处理方法包括删除不再使用的key、平铺缓存Set和HASH类型的大key、分割大对象为多个key-value、压缩数据大小、定期清理过期key。

缓存有大key?你得知道的一些手段

京东科技开发者
京东科技开发者 · 2024-06-18T10:31:40Z

本文提出了一种新的视频编码和压缩方法,结合时间相关性和深度学习技术,显著提高了视频质量和压缩效率。实验结果表明,该方法在多个数据集上表现优异,降低了数据传输量和能耗,适用于实时流媒体和监控视频处理。

基于时空的帧索引算法用于提升实时低运动视频流的 QoS

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-30T00:00:00Z

本文提出了一种创新的大规模语言模型压缩方法,通过降阶建模和重参数化,在内存和时间限制下逐层压缩十亿级模型。该方法结合低秩分解和结构化剪枝,显著提高了训练和推理速度,适用于BERT模型的微调,表现优于现有技术。

LoRAP:大型语言模型的 Transformer 子层应采用差异化结构压缩

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-04-15T00:00:00Z
Linux中的文件压缩和解压缩是如何进行的,有哪些常用的压缩格式?

Linux支持多种文件压缩格式,包括gzip、bzip2、xz、zip和tar。可以通过命令行或图形界面工具进行压缩和解压缩操作。不同的压缩方法适用于不同的用途和优势。

Linux中的文件压缩和解压缩是如何进行的,有哪些常用的压缩格式?

龙鲲博客
龙鲲博客 · 2024-04-08T09:10:52Z

最近的研究展示了一种名为LLM-KICK的无需训练和无需数据的压缩方法,可成功压缩大型语言模型。该研究探讨了该方法的优点和缺点,并研究了稀疏化和量化对语言理解、推理、生成、检索和摘要等任务的影响。希望该研究能推动语言模型压缩方法的发展。

大型语言模型的零数据压缩和降噪

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-26T00:00:00Z

最近的研究展示了一种名为LLM-KICK的无需训练和无需数据的压缩方法,可以成功压缩大型语言模型。该研究探讨了稀疏化和量化对语言理解、推理、生成、检索和摘要等任务的影响,并介绍了该方法的优点和缺点。希望这项研究能够推动语言模型压缩方法的发展。

紧凑 AI:使用量子启发的张量网络对大型语言模型进行极致压缩

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-25T00:00:00Z

最近的研究展示了一种无需训练和无需数据的压缩方法在压缩大型语言模型方面取得了成功。研究介绍了一种名为LLM-KICK的压缩语言模型评估协议,并展示了稀疏化和量化对于语言任务的影响。希望这项研究能促进更好的语言模型压缩方法的发展。

大型语言模型的极端压缩:基于加性量化

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-01-11T00:00:00Z
卡雷尔·莫佩尔:2024年Postgres最佳pg_dump压缩设置

本文介绍了作者开发的用于测试Postgres压缩方法的脚本,并分享了测试结果。作者发现,对于大多数数据集来说,zstd应该成为默认的pg_dump压缩方法。文章还提到了其他压缩方法的性能和输出大小,并呼吁读者提供更多的Postgres开放数据集。

卡雷尔·莫佩尔:2024年Postgres最佳pg_dump压缩设置

Planet PostgreSQL
Planet PostgreSQL · 2024-01-04T22:00:00Z
在Mac上用FFMpeg做youtube上传视频的预处理

作者分享了在上传YouTube视频时的压缩方法,使用FFMpeg命令可以节省流量和处理时间。作者介绍了在Mac上加速压缩的方法,并讨论了压缩速度和视频质量的平衡。最后给出了完整的压缩命令。

在Mac上用FFMpeg做youtube上传视频的预处理

Tinyfool的中文Blog
Tinyfool的中文Blog · 2024-01-01T06:41:33Z

最近的研究展示了基于裁剪和量化的压缩方法在压缩大型语言模型方面取得了成功。LLM-KICK压缩语言模型评估协议揭示了当前压缩方法的优缺点,并展示了稀疏化和量化对语言任务的影响。希望这促进更好的语言模型压缩方法的发展。

重新思考压缩:大型语言模型中潜在特征的简化建模

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-12-12T00:00:00Z

本文研究了三维点云属性的压缩方法,通过量化参数和编码实现离散样本的恢复。预测和编码的结合提高了编码性能,实验结果显示改进的框架比MPEG G-PCC预测器在比特率降低方面提高了11%到12%。

学习的非线性预测器用于临界采样的三维点云属性压缩

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-11-22T00:00:00Z

EELBERT是一种基于transformer模型的压缩方法,成功地显著减小了模型的大小,并在GLUE基准测试中证明了EELBERT与传统BERT模型之间仅有微小的回归差异。

EELBERT:通过动态嵌入实现微小模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-31T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码