本文研究了稀疏参数高效微调（SPEFT）方法，提出了一种基于梯度的显著性指标，显示出在计算效率和性能上的优势。研究表明，静态掩蔽策略在自然语言处理任务中效果更佳，为SPEFT提供了有效的基线，挑战了高效微调中复杂性必要性的观点。

本文讲述如何利用小型语言模型（SLMs）和LoRA适配器创建函数调用代理。通过分离推理和函数执行，SLMs在资源有限或低延迟环境中实现高效微调和执行，提升性能和速度。使用Salesforce/xlam-function-calling-60k数据集训练的模型，展示了构建高性能、低资源AI应用的方法，并可扩展至更大模型如LLaMA 3.1-8B。

研究表明，微调大型语言模型（LLMs）可能引入新的安全风险，尤其是在用户自定义微调时。现有安全措施无法完全覆盖这些风险。因此，建议在发布模型权重时进行风险评估，并提出后门增强安全对齐方法和高效微调算法，以提高模型的安全性和性能。

该文综述扩散模型的多项进展：DiffFit实现高效微调并加速两倍；分类器引导提升图像合成质量；蒸馏法加快采样；无训练方法生成超高分辨率图像；级联模型提升ImageNet生成效果；Patch Diffusion降低训练成本；DomainStudio实现少样本生成；条件蒸馏简化流程；Diffusion Inversion生成高质量训练图；微调文本到图像模型提升分类准确率。

本文综述大语言模型高效微调与量化技术：DeltaZip通过压缩微调模型差异提升多模型服务吞吐；稀疏微调优于LoRA；AlphaTuning、ApiQ、EfficientDM、QFT等实现低比特量化微调，降低内存与成本并保持性能。

本文综述大语言模型的量化与高效微调方法，涵盖LoftQ、QLLM、QA-LoRA、PEQA、LQ-LoRA、QLoRA、QFT等，通过低秩初始化、分组量化、后训练量化及量化感知微调，降低内存与计算开销，同时保持下游任务性能。

本文综述大语言模型高效微调方法：QFT量化全参数调优将内存降至21%，单卡可调LLaMA-7B；LOMO融合梯度计算与参数更新，单机8卡可微调65B模型；SIFT、SquareHead、DSnoT等稀疏微调提升稀疏模型性能；研究还揭示LoRA微调存在灾难性遗忘及缩放规律，并探讨多语言与少样本场景下的参数高效微调效果。