本研究提出了A3框架，通过将Transformer层分为三个功能组件，构建低秩近似方法，显著减少模型大小和计算消耗，同时保持优越性能。实验结果表明，A3在计算和内存节省方面优于现有技术，具有广泛应用潜力。

本研究提出了一种新方法，解决设备端学习中的内存和计算约束问题，作为低秩分解的替代方案。实验结果表明，该方法在激活内存使用上可降低120.09倍，并减少训练FLOPs达1.86倍。

本研究提出了一种无监督的图像重建算法，旨在解决自由呼吸和未门控3D心脏MRI中的运动补偿问题。该算法通过低秩模型有效表示运动相位，显著提升了心脏MRI图像的恢复质量。

本研究提出了一种低秩自适应结构先验（LoASP）方法，旨在解决糖尿病性视网膜病分级中的领域泛化问题，提升模型在不同数据源上的表现，并增强可解释性，为诊断提供新思路。

本研究探讨了低秩适应（LoRA）在航拍图像跨域少样本目标检测中的应用。将LoRA集成到DiffusionDet中，结果显示在1-shot和5-shot的低样本设置下，性能略有提升，表明其在资源有限情况下的适应潜力，对少样本学习的微调策略研究具有重要意义。

本研究提出了TenAd方法，以解决深度学习视频分类模型在黑箱对抗攻击中的脆弱性。通过将视频表示为四阶张量，TenAd显著降低了搜索空间和查询次数，提高了攻击成功率和查询效率，生成几乎不可察觉的对抗扰动。

本研究探讨了低秩适应（LoRA）在微调预训练模型时的学习动态，提出了基于梯度流的分析方法。通过谱初始化，改善了原模型与目标矩阵的错位，理论证明小规模谱初始化能以任意精度收敛，实验结果验证了该方法的有效性。

本研究提出了一种高效的优化器设计方法，开发了RACS和Alice优化器，以解决大语言模型的低内存需求和快速收敛问题，显著提升了LLaMA预训练的收敛速度和性能。

本研究提出低张量秩适应（LoTRA）方法，优化Kolmogorov-阿诺德网络在迁移学习中的微调过程，通过自适应学习率策略提升训练效率，并验证其在偏微分方程等任务中的有效性。

本研究提出GaussianProperty框架，结合SAM的分割能力与GPT-4V的识别能力，解决视觉数据中物理属性估计不足的问题，具有重要应用价值。

本研究解决了微调大型语言模型（LLMs）时存在的计算复杂性和资源需求问题，尤其是低秩适应与理论最佳性能之间的差距。提出的极端梯度提升LoRA（XGBLoRA）框架利用集成学习的优势，通过迭代学习和合并LoRA适应来优化模型预测，最终实现了在计算效率上超越标准LoRA，同时性能与全面微调相媲美。此研究推动了大型语言模型的高效微调，为模型在下游任务中的适应提供了更优的解决方案。

在BERT模型剪枝中，提出了一些通用指南，包括与目标稀疏度相关的训练、稀疏化和学习率调整方法，以及知识蒸馏的参数化。这些方法在BERT剪枝和SMC基准上取得了优异成果，表明经典剪枝方法通过正确应用也能获得竞争性结果。

本研究提出了一种新框架，将点式相关性预测与逐对比较结合，提升新闻推荐的个性化排序效果。实验结果显示，该方法在MIND和Adressa数据集上优于现有最佳方法，解决了在保持高效性和准确性的同时进行有效比较的挑战。

本研究评估了贝叶斯方法在深度学习中用于不确定性估计的方法，重点关注 Laplace 近似及其变体。研究发现，拟合 Hessian 矩阵的方法对超出分布的检测效率产生负面影响。提出了仅关注优化先验精度的观点，可在超出分布检测中产生更准确的不确定性估计，并保持适度的校准度。实验评估证实了简化方法在超出分布领域中的优越性。