小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

文章讨论了OLAP系统中的压缩技术,重点介绍了列存储的压缩方法。通过使用RLE、字典编码、位打包和增量编码等四种压缩编解码器,数据可以减少5-10倍。每种编码器根据数据类型自动选择,以实现最佳压缩效果,并介绍了压缩的实现细节和未来的开发计划。

OLAP – 第三阶段压缩

Kimserey Lam’s website, Software Development blog posts, videos and tutorials
Kimserey Lam’s website, Software Development blog posts, videos and tutorials · 2026-07-01T05:00:00Z

本文讨论了ClickHouse的列存储压缩技术,包括专用编码(如Delta和Gorilla)与通用压缩(如LZ4和ZSTD)。不同数据类型适用不同的编码策略,压缩效果需通过实测来验证。建议根据数据特征选择合适的CODEC,以优化存储和查询性能。文章还提到与PostgreSQL的对比,以及在高并发环境下的插入策略和性能监控。

【列存引擎内核】压缩与编码

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-06-18T00:00:00Z
视频技术领域的静默革命

视频监控行业的压缩技术正在变化,AV1编解码器逐渐取代H.264,成为新标准。AV1在高分辨率视频压缩效率上提高了30%至50%,降低了带宽需求,提升了图像质量。其开源、免版税的特性使得各行业更易于采用,预计到2026年将大规模应用,推动监控能力的提升。

视频技术领域的静默革命

实时互动网
实时互动网 · 2026-05-19T03:44:32Z

TurboQuant是谷歌推出的新算法库,旨在通过量化和压缩技术提高大型语言模型和向量搜索引擎的效率。它能将缓存内存消耗降低至3位,无需重新训练模型。采用PolarQuant和QJL两阶段压缩技术,确保无准确性损失。实验表明,TurboQuant在H100 GPU上性能提升8倍,内存占用减少5.4倍,适用于大规模环境。

TurboQuant:压缩和性能真的值得期待吗?

KDnuggets
KDnuggets · 2026-05-15T14:00:37Z
从像素到DNA:为什么压缩的未来关乎所有类型的数据

压缩技术已扩展至基因组、3D场景等多种数据类型,成为数字生态系统的基础。随着数据生成量激增,JPEG和MPEG等标准正在开发新技术,以应对AI生成内容的真实性、视频编码的能效和机器间通信需求。未来的压缩将更加关注机器可读性、信任和能源效率,成为全球数据管理的核心。

从像素到DNA:为什么压缩的未来关乎所有类型的数据

实时互动网
实时互动网 · 2026-04-20T07:42:26Z

在互联网传输中,压缩技术至关重要。传统的gzip算法已难以满足现代需求,尤其在动态内容和高并发环境下。Zstandard(zstd)作为新一代压缩算法,由Meta开发,提供更高的压缩比和更快的解压速度,适合边缘计算场景。启用zstd可显著提升传输效率,降低带宽成本,优化用户体验。

性能再进阶:OpenResty Edge 新增 zstd 压缩支持

OpenResty 官方博客
OpenResty 官方博客 · 2025-10-20T00:00:00Z

本研究探讨了大型语言模型的压缩技术,重点分析了修剪与量化的联合应用。引入了新的语义保留压缩率(SrCr)指标,证明在相同理论压缩率下,推荐的压缩组合性能提升了20%。

Semantic Retention and Extreme Compression in Large Language Models: Can We Achieve Both?

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-12T00:00:00Z
释放新的可能性:压缩和高密度工作流程如何影响体育直播制作

随着直播内容需求的增加,广播公司需提升效率与成本效益,同时确保制作质量。压缩技术和高密度解决方案使多机位直播更便捷,降低带宽需求,提升观众体验。远程制作减少现场人员,降低碳足迹,推动可持续发展。尽管面临挑战,行业仍在快速进步,未来将实现更高的灵活性与创新。

释放新的可能性:压缩和高密度工作流程如何影响体育直播制作

实时互动网
实时互动网 · 2025-04-30T02:17:34Z

本研究解决了边缘设备上训练和部署深度伪造检测模型的计算与内存限制问题。通过压缩技术和迁移学习,实验表明在90%压缩率下仍能保持性能,尽管存在领域泛化问题,为实际应用提供了理论支持。

A Review of Compression and Transfer Learning Techniques in Deep Fake Detection

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-29T00:00:00Z

本文探讨了大语言模型服务中的键值缓存压缩技术,评估现有算法,识别影响计算效率的问题,并提出实际部署所需的工具,以推动该领域技术的发展与应用。

Rethinking Key-Value Cache Compression Techniques in Large Language Model Serving

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-31T00:00:00Z
大数据中的数据压缩:类型与技术

本文讨论了大数据中的压缩技术,包括有损和无损压缩。压缩可以减少数据占用空间,提高传输速度和节省存储成本。无损压缩保留所有数据,而有损压缩则会丢失部分信息。选择合适的压缩方法需考虑数据类型和业务需求。常见技术有RLE、霍夫曼编码和LZW等。

大数据中的数据压缩:类型与技术

DEV Community
DEV Community · 2025-02-25T10:00:00Z
第47天:部署的模型压缩

大语言模型(LLMs)的压缩技术通过量化、剪枝和知识蒸馏等方法,减少模型大小和计算需求,提高性能与效率,适用于资源有限的环境。这些技术降低了延迟和成本,同时保持了准确性,使AI部署更具可扩展性和经济性。

第47天:部署的模型压缩

DEV Community
DEV Community · 2024-12-09T06:35:37Z

本文探讨了大型语言模型(LLMs)在处理长上下文时的内存消耗问题,提出了多种优化键-值(KV)缓存的技术。研究表明,通过压缩KV缓存和动态管理内存,可以显著降低内存占用,提高吞吐量,且在不牺牲性能的情况下实现高达95%的压缩比。主要方法包括LESS、SqueezeAttention、KCache、vAttention、CSKV、SimLayerKV和ShadowKV,均展现出良好的应用潜力。

通过2位层区分KV缓存推动LLM推理的极限

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-27T00:00:00Z

本研究提出了一种基于内容图像的极度压缩运动潜变量编码方法,旨在降低商业视频生成模型的成本。通过变分自编码器实现潜变量64倍压缩,保持视频质量,并显著提高训练和推理效率。实验结果表明,Reducer-DiT在有限计算资源下能够生成高质量的1024*1024分辨率视频,帧率达到每秒15.5帧。

REDUCIO! 在16秒内生成1024×1024视频,使用极度压缩的运动潜变量

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-20T00:00:00Z

本研究探讨了体积视频在传输中的高带宽和数据密集性问题,提出了多种创新的智能转码和压缩技术,重点关注AI驱动的解决方案,以改善用户的沉浸式体验。

The Evolution of Volumetric Video: A Survey of Smart Transcoding and Compression Methods

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-04T00:00:00Z

本文介绍了神经网络压缩技术,包括量化、剪枝和自压缩方法,旨在提高模型的压缩率和推理效率,同时保持准确性。研究表明,通过优化参数表示和新算法的应用,可以显著减少内存需求和计算资源,提升深度学习模型的性能。

NeuZip:动态压缩下的内存高效训练和推断神经网络

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-28T00:00:00Z

本研究提出多种量化方法以解决大型语言模型(LLMs)在长上下文任务中的内存开销问题。通过引入KV缓存的压缩技术,如CSKV和KIVI,实验表明可将内存使用降低80%,并实现高达95%的压缩率,同时保持模型性能和准确性。这些方法显著提高了推理效率和批处理能力。

AsymKV:启用具有层级非对称量化配置的KV缓存1位量化

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-17T00:00:00Z

本文探讨了多种压缩大型语言模型(LLM)的方法,包括张量分解、实时音频编解码器和动态适应编码等。这些技术在压缩比率和推理效率上取得了显著进展,并在语音和音乐等多个领域表现优于传统方法,旨在推动语言模型压缩技术的发展。

基于预训练变换器的压缩:字节级多模态数据研究

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-07T00:00:00Z
使用KV-Compress压缩键值缓存:注意力头的可变压缩率

研究论文介绍了一种名为KV-Compress的新技术,用于高效压缩注意力模型的键值缓存。KV-Compress通过对不同注意力头应用可变压缩率,减少不重要部分的内存占用,同时保持模型性能。实验表明,该技术在多种模型中有效,内存压缩率最高可达2.6倍。

使用KV-Compress压缩键值缓存:注意力头的可变压缩率

DEV Community
DEV Community · 2024-10-03T09:12:28Z

本文探讨了大型语言模型(LLM)的压缩技术,包括量化、修剪和知识蒸馏等方法。这些技术能够有效降低内存占用,提高推理速度,同时保持模型性能。通过对不同模型的分析,提出了创新的压缩方法,以提升模型的实际应用效率。

将语言模型作为零样本无损梯度压缩器:迈向通用神经参数先验模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-26T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码