本研究提出了一种新方法“MoE专家压缩套件”（MC-Suite），旨在解决稀疏激活混合专家（SMoE）模型的冗余和内存需求问题。通过迭代修剪和微调机制，优化专家丢弃过程，显著提升了SMoE的能力，尤其是指令执行能力，为混合专家模型的高效性和可扩展性提供了重要见解。

该研究提出了一种个性化扩散模型的方法，有效降低了训练内存需求8.2倍，同时保持个性化性能。

DeepSeek团队推出的CoE（Chain-of-Experts）技术通过迭代机制将内存需求降低17.6%-42%。该技术允许专家在单层内串行通信，提升稀疏MoE模型的性能和资源效率。实验表明，在相同计算预算下，验证损失显著降低，专家组合自由度大幅增加。此技术由Zihan Wang等人提出，旨在优化稀疏神经网络的信息处理。

本研究提出了MaZO框架，旨在解决大型语言模型在多任务微调中的高内存需求问题。通过权重重要性度量和多任务权重更新掩码，MaZO有效降低了参数空间维度，减轻了任务冲突，实验结果表明其性能优于一阶优化方法。

本研究提出了一种高效的优化器设计方法，开发了RACS和Alice优化器，以解决大语言模型的低内存需求和快速收敛问题，显著提升了LLaMA预训练的收敛速度和性能。

本研究提出了BalanceKV方法，旨在解决大语言模型在长上下文生成中的高内存需求问题。通过几何采样提高了生成精度，实验结果表明其性能显著优于现有方法。

本研究提出了一种转换器调优技术，通过引入代码属性图的结构和依赖信息，解决了资源受限环境中大型语言模型的内存需求问题。该方法在减少可训练参数的同时，保持了与全参数微调相当的性能，展现出显著的应用潜力。

本研究比较了休眠多臂赌博机中的拉格朗日指数策略（LIP）与惠特尔指数策略（WIP）的性能。结果表明，LIP在WIP表现不佳时仍能保持良好效果，并显著减少内存需求。此外，研究分析了重启模型的拉格朗日指数，并提供了均匀赌博机的渐近最优性的新证明。

本文提出的FAST-Splat方法克服了现有语义高斯色彩化的局限，能够实现精确的语义对象定位，并在训练和渲染速度及内存需求上优于传统方法。

本研究提出了BitMoD，通过算法与硬件协同设计，解决了大语言模型的内存需求问题，实现高效加速并保持高准确率。

本研究提出FusedInf模型交换方法，解决边缘计算中无服务器推理服务的资源限制问题。通过将多个模型组合为有向无环图，执行速度提升14%，内存需求降低至17%。

本研究提出了一种渐进混合精度解码技术，旨在解决大型语言模型在资源受限设备上的高计算和内存需求问题。该方法通过在不同推理阶段选择性分配精度，提升了计算效率和内存带宽利用率，同时保持输出质量，显著提高了推理速度和效率。

本文探讨了多种3D高斯喷洒技术的优化方法，提出了GaussianPro、Pixel-GS和EfficientGS等新方法，显著提高了渲染效率和质量，并降低了内存需求。这些方法在大规模和小规模场景中均有效，具备实时渲染能力，具有广泛的应用潜力。

本研究提出了一种通过池化压缩激活图的方法，以减少深度神经网络训练中的内存需求和数据移动。尽管训练时间有所增加，该方法仍能将峰值内存消耗降低29%，同时保持预测准确性，显示出在深度学习中的潜在影响。

本文探讨了多种3D高斯喷涂技术的优化方法，如量化嵌入、EfficientGS、SAGS和F-3DGS，旨在降低内存需求并提高渲染质量。同时，提出了Grendel分布式系统，支持高分辨率3D重建，显著提升渲染性能。通过因子化张量照明方法，优化了视依赖效果，保持了快速训练和渲染速度。