本研究探讨了生物信息指导的神经网络在生物医学中的应用，发现稀疏性比生物通路相关性更能提升模型性能。随机化模型在多个指标上表现与生物指导模型相当，甚至更优，提示生物通路注释可能过于嘈杂，建议采用标准化方法比较新旧模型。

本研究提出了一种新的异方差双贝叶斯弹性网（HDBEN）框架，旨在解决高维回归模型中误差方差不恒定的问题。HDBEN通过联合建模均值和对数方差，进行稀疏性和分组的回归系数及方差参数估计。理论分析和仿真结果表明，其在异方差和高维情境下优于现有方法，具有重要的应用价值。

本文探讨了扩散模型在生成高质量图像时速度慢的问题，提出了一种新方法，通过激进量化和显著稀疏性提升来加速生成过程并降低能耗。

本研究提出了HashAttention，一种提高长上下文注意力计算效率的方法。HashAttention通过将关键token识别视为推荐问题，实现了$32 imes$的稀疏性，显著提升了模型推理速度，具有重要的实际应用潜力。

本文探讨了如何通过放宽Top-K精确要求来提高在高度并行的机器学习加速器上的并行性。研究表明，近似Top-K算法能有效提升稀疏性算法在语言模型中的性能。

本研究提出了一种新技术，解决了深度神经网络在极端稀疏性下性能下降的问题，实现了99.90%至99.99%的稀疏性而不影响准确性，从而提升了网络性能，增强了模型在受限设备上的应用潜力。

本文综述了深度学习中稀疏性技术的研究进展，探讨了通过稀疏化优化神经网络以降低计算复杂度和存储需求。介绍了多种稀疏化方法及其在视觉变压器中的应用，强调了稀疏性对模型性能和计算效率的影响。

本文介绍了多种针对大型语言模型（LLMs）的剪枝方法，如LLM-Pruner、Wanda和GBLM-Pruner，强调在保持性能的同时实现模型压缩。这些方法在零样本分类和生成任务中表现优异，并提出了有效的剪枝策略和参数调整技巧，以提高模型的稀疏性和可解释性。

清华大学和香港科技大学的研究提出了一种新的加速器设计，解决多模态Transformer模型在硬件执行时的稀疏性问题。通过优化调度器、令牌修剪器和自适应网络，提高了计算效率，减少了延迟。多模态模型在视觉问答和图像描述等领域有广泛应用，未来将进一步推动AI发展。

本研究提出了一种新的切换稀疏自编码器架构，旨在降低训练计算成本。通过“小型专家”激活矢量路由方法，显著改善了特征重建与稀疏性，确保特征可解释性与传统架构相当。

本研究提出了一种新颖的$(eta, eta)$-稀疏性概念，以提升群体分布鲁棒优化（GDRO）的模型有效性。通过创新算法，改善了抽样复杂度，使其对组数$K$的线性依赖转变为对较小的$eta$的线性依赖，从而显著提高了模型效率，并展示了一种自适应算法以适应最佳稀疏性条件。

本文探讨了预训练神经网络的成功原因，强调稀疏性对预测性能的影响。研究提出了改进的激活函数和初始化方法，显著提升了图像分类的准确性，并首次在视觉识别挑战中超越人类表现。此外，研究还涉及深度神经网络的训练、优化算法及特征可视化的应用。

本研究探讨了稀疏性对深度神经网络设计的影响，表明粗粒度稀疏性在保持精度的同时提高了压缩率和设计效率。提出了掩码多样性度量、比特级稀疏量化法和N:M稀疏性训练等新方法，显示出在模型压缩和加速方面的潜力，尤其在FPGA硬件上表现优异。

本文介绍了多种基于LiDAR的全景分割方法，如Panoster、EfficientLPS和Panoptic-PolarNet，旨在解决点云分割中的遮挡和稀疏性问题。这些方法通过创新架构和算法在多个数据集上实现了先进效果，推动了全景分割技术的发展。

本文研究了大型语言模型的稀疏微调，提出了多种方法以提高模型的稀疏性和性能。通过引入稀疏权重和新激活函数，模型在推理和训练中实现了显著加速，尤其是在CPU和GPU上。研究表明，稀疏激活有效提升了模型效率，新方法如Q-Sparse和TDA在不影响性能的情况下，进一步优化了稀疏性和生成速度。

本文介绍了多种基于稀疏性的深度学习加速方法，如SparseRT、N:M稀疏性训练和Channel-aware动态稀疏。这些方法在保持模型精度的同时，显著提升了计算速度和效率，适用于大型语言模型和现代硬件，解决了模型部署中的参数和内存问题。

本文探讨了卷积神经网络中的稀疏性技术，特别是在使用Batch Normalization和ReLU激活时的隐式稀疏性。研究表明，这种稀疏性可以通过特定功能的出现和修剪机制来实现，从而优化神经网络的结构和性能。此外，提出了Sparsity Normalization技术和掩码多样性度量方法，以降低内存占用并提高训练效率。