本研究提出了TeleSparse，一种后处理机制，通过稀疏化神经网络和优化激活范围，降低深度学习推理验证的时间和内存使用，提高可行性。

本研究探讨了图神经网络(GNNs)和图变压器(GTs)中位置编码(PEs)的孤立性问题，建立了统一框架来评估PEs的应用，并引入了稀疏化GRIT注意机制，发现新GNN架构与PEs的结合能够超越现有方法。

本文研究了大语言模型在资源受限设备上的推断挑战，提出通过ReLU激活函数和稀疏化方法提升性能。采用新型dReLU函数和Mixture-of-Experts模型，实现推理速度提升2-5倍，同时保持高准确率。

本文探讨了大型语言模型的压缩与剪枝方法，包括基于层重要性评分的剪枝、后训练稀疏化方法SliceGPT和张量列分解技术。这些方法有效减少了模型参数和计算需求，同时保持了性能，特别在密码建模和代码生成等任务中表现出色。

本文探讨了通过稀疏化技术优化神经网络计算效率的方法，提出了利用稀疏活动和连接增强分类能力的模型，并在多个数据集上验证了其性能。研究表明，稀疏化可以在不影响功能的情况下提高运行效率，适用于神经形态计算设备。

本文提出了一种增强稀疏化范式的结构化剪枝框架（STP），通过自蒸馏技术维持剪枝权重并提升模型表现。研究表明，STP在极度剪枝情况下仍能保持高准确率，且在自然语言处理领域的稀疏剪枝技术相比传统方法效果显著，实现了参数和计算量的大幅压缩而不损失性能。

该文综述高效Transformer技术，以解决自注意力二次复杂度对长序列的限制。涵盖FlashAttention及其稀疏扩展、Fastformer加法注意力、层次矩阵注意力、Sparse Transformers、线性注意力、门控线性注意力GLA及Linformer等，通过稀疏化、线性化和核方法降低时间与内存复杂度，在保持性能的同时提升长文本处理效率。

该文综述联邦学习中的通信压缩技术，涵盖FedCode、FedCompress、FediAC等算法，通过代码簿传输、动态权重聚类、稀疏化与量化等方法，在保持模型精度的同时降低通信开销，部分方案可实现百倍稀疏化与数千倍通信负载减少。

该文综述Transformer前馈网络（FFN）的稀疏化与高效化研究：S-FFN中Avg-K块选择优于MoE；MoEfication以10%–30%参数保持性能；快速前馈（FFF）打破层大小与推理成本的线性关系；共享FFN、EfficientBERT、PartialFormer等减少参数与计算；分析发现FFN早期稀疏、含死神经元和标记检测器，部分神经元具位置性，并存在从残差流删除信息的机制；剪枝加迁移学习可压缩超70%参数且不损准确率。

最近的研究展示了基于裁剪和量化的压缩方法在压缩大型语言模型方面取得了成功。LLM-KICK压缩语言模型评估协议揭示了当前压缩方法的优缺点，并展示了稀疏化和量化对语言任务的影响。希望这促进更好的语言模型压缩方法的发展。

KDT NEUROKIT2E项目旨在为边缘设备提供新的开源框架，包括量化、剪枝感知训练和稀疏化等创新技术，以处理复杂的机器学习任务。

SmartExchange是一种用于深度神经网络的算法-硬件协同设计框架，通过稀疏化、分解和量化三种主流模型压缩思想，得到稀疏、易于量化的DNN，具有极低的能耗和存储空间需求。同时，该研究还设计了一个专用加速器，可改进深度神经网络的能效和延迟表现。

本文介绍了一种新的稀疏化格式 V:N:M，可在 NVIDIA 的 Sparse Tensor Cores 上执行任意 N:M 比例的稀疏化计算，并通过高性能稀疏库 Spatha 实现了高达 37 倍的加速。该技术可在现代 transformers 中实现高稀疏度而几乎不降低准确性的二阶裁剪技术。

研究表明，基于裁剪和量化的无需训练和无需数据的压缩方法在压缩大型语言模型方面取得了成功。LLM-KICK评估协议揭示了当前最先进的压缩方法的优缺点，并展示了稀疏化和量化对于语言任务的影响。希望这项研究能够促进更好的语言模型压缩方法的发展。