本研究提出TT-LoRA MoE框架，结合参数高效微调与稀疏专家混合路由，解决大型模型部署的可扩展性问题，显著提升多任务推理的计算效率与灵活性。

本研究提出了一种新的参数高效微调技术，以解决联邦学习中基础模型适应特定任务所需的高计算资源问题，并分析其在数据异质性和通信效率等挑战中的应用，强调其在隐私敏感领域的重要性。

本研究探讨了基础模型中的参数高效微调（PEFT）技术，综述其应用，提出系统方法，并讨论未来研究方向，为研究人员提供参考。

本研究提出IMSM框架，解决大型语言模型中参数高效微调的灾难性遗忘问题。IMSM通过调节原始记忆与增强记忆的贡献，在效率和性能上优于传统PEFT方法，显著提升模型表现。

本文提出了一种基于高斯图模型的参数高效微调（PEFT）方法，首次将高斯图模型应用于PEFT任务。该方法通过$ ext{l}_{2,g}$范数选择关键参数，捕获全局依赖关系。在微调RoBERTa-Base时，实验结果显示该方法表现优异，显著减少了所需的可训练参数。

该研究论文探讨了参数高效微调在大语言模型中的重要性，强调当前研究状态和未来研究的必要性。论文指出需解决的挑战包括创新架构、不同学习设置、结合模型压缩技术及多模态探索，旨在激发进一步研究和讨论。

大规模预训练视觉模型在下游任务中表现出色，但完全微调因计算和存储需求过高而不可持续。研究人员探索参数高效微调（PEFT），通过少量参数调整提升性能。文章综述了PEFT的定义、预训练方法，并将其分为添加、部分和统一三类，介绍常用数据集和应用，提出未来研究挑战。

本研究旨在研究参数高效微调在医学图像分类任务中的性能。提出了嵌入式提示微调（EPT）方法，通过嵌入提示符来改善微调效果。实验证明，EPT在少样本医学图像分类任务上优于其他微调方法，且时间效率高。

该研究强调了大语言模型对参数高效微调的需求，并提出了创新的PEFT架构和其他解决方案，呼吁进一步研究和讨论。

通过参数高效微调可以提高大语言模型的性能，对多语言评估表明英语和其他语言性能差距大。微调是弥合差距的有效方法。本研究通过对合成多语言数据进行微调，评估其对模型在涵盖23种语言的五个下游任务上的性能影响。发现微调较小的开源模型可以弥合模型性能差距，但对英语性能有所降低。微调有时可以提高低资源语言性能，但在高资源语言上性能可能下降。

本研究旨在研究参数高效微调在医学图像分类任务中的性能。提出了嵌入式提示微调（EPT）方法，通过嵌入提示符来改善微调效果。实验证明，EPT在少样本医学图像分类任务上优于其他微调方法，且时间效率高。

个性化大型语言模型（LLMs）通过个性化碎片（Per-Pcs）框架实现用户定制交互、内容和推荐。Per-Pcs将用户的参数高效微调（PEFT）拆分为碎片，并训练门控模型，实现用户根据历史数据选择和组装个性化的PEFT。实验结果表明，Per-Pcs优于非个性化和PEFT检索基线，在性能和资源消耗方面都有显著提升。Per-Pcs具有可扩展性和模块化特点，促进了安全共享和高效的LLM个性化。

本文研究了参数高效的微调方法在大型语言模型上的应用。研究发现，特定任务的路由分布往往高度集中，而激活的专家分布在不同任务之间差异显著。提出了专家定制微调方法，在冻结其他专家和模块的同时调整与下游任务最相关的专家。实验结果表明，该方法提高了调整效率，甚至超过了全参数微调的性能。进一步分析发现，具有更细粒度专家的模型能更好地选择与下游任务最相关的专家组合，提高训练效率和效果。

该研究强调了大语言模型对参数高效微调的需求，并提出了创新架构和解决重要挑战的必要性，以促进更高效和可访问的研究。

本文通过实验分析了大型语言模型验证公共健康主张的能力，并提供了解释或证明其真实性评估的能力。实验结果显示，在零提示场景下，GPT-4表现出色，但在少提示和参数高效微调的情况下，开放源模型能够填补性能差距，并在某些情况下超过GPT-4。人工评估显示了更多细微差异，并指出了黄金解释可能存在的问题。

本文介绍了一种新的方法Customized Polytropon C-Poly，结合了任务共同技能和任务特定技能，通过低秩技术对技能参数进行高度参数化，显著提高了多任务学习场景下的样本效率。

通过参数高效微调可以提高大语言模型的性能，对多语言评估表明英语和其他语言性能差距大。微调是弥合差距的有效方法。本研究通过对合成多语言数据进行微调，评估了模型在涵盖23种语言的五个任务上的性能影响。发现微调较小的开源模型可以弥合模型性能差距，但对英语性能有所降低。微调有时可以提高低资源语言性能，但在高资源语言上性能可能下降。

通过参数高效微调可以提高大语言模型的性能，对多语言评估表明英语和其他语言性能差距大。微调是弥合差距的有效方法。本研究通过对合成多语言数据进行微调，评估了模型在涵盖23种语言的五个任务上的性能影响。发现微调较小的开源模型可以弥合模型性能差距，但对英语性能有所降低。微调有时可以提高低资源语言性能，但在高资源语言上性能可能下降。

通过参数高效微调可以提高大语言模型的性能，对多语言评估表明英语和其他语言性能差距大。微调是弥合差距的有效方法。本研究通过对合成多语言数据进行微调，评估了模型在涵盖23种语言的五个下游任务上的性能影响。发现微调较小的开源模型可以弥合模型性能差距，但对英语性能有所降低。微调有时可以提高低资源语言性能，但在高资源语言上性能可能下降。