腾讯混元升级了AI绘画微调方法，通过Direct-Align和语义相对偏好优化（SRPO）显著提升了图像的真实感和美学评分，人工评估分数提高300%。新方法在32块H20上训练10分钟即可收敛，解决了传统模型的优化局限性，并支持在线调整奖励信号，生成图像质量显著提升。

本文介绍了一种结合强化学习与视觉-语言-动作模型的微调方法ConRFT，旨在提升机器人任务的样本效率和安全性。ConRFT通过离线和在线两个阶段，利用人类示范数据和一致性策略，解决了传统方法在真实环境中的挑战，增强了智能机械臂的精准性和泛化能力。

本研究探讨了医学视觉问答中的强化学习微调方法，分析了模型初始化、语义对齐和奖励机制等关键因素。实验结果显示，基于GRPO的微调在准确性和推理质量上优于传统方法。

本研究提出了一种基于块循环矩阵的微调方法，旨在降低大规模语言模型的计算和存储成本。该方法结合一维傅里叶变换，显著减少参数和计算量，同时在下游任务中保持或提升性能，展示了频域微调的潜力。

本研究探讨了小型语言模型（Llama 2 7B 和 Llama 3 8B）在法律推理任务中的微调方法。通过IRAC格式优化推理过程，结果表明领域特定的监督微调能使模型表现接近人类基准，并在计算资源有限的情况下依然有效。

本研究提出了一种基于强化学习的微调方法，解决了游戏描述生成中的特征再现问题。引入语法和概念奖励后，实验结果表明该方法在文本的语法正确性和忠实性方面显著优于传统监督微调，具有较大应用潜力。

本研究探讨了大型语言模型推理中的冗余信息问题，提出了一种自我生成简洁推理路径的微调方法，该方法在保持准确率的同时，平均减少了30%的输出令牌，提高了推理效率。

本研究提出了一种优化的微调方法（OFT），针对视觉-语言-动作模型在新机器人环境中的微调问题，显著提升了模型的推理效率和成功率。OpenVLA-OFT在LIBERO基准测试中的成功率达到97.1%，优于其他同类模型。

本文提出了一种新微调方法，通过扩散框架提升预训练大语言模型的计算能力。研究表明，增加扩散步骤可提高模型准确性，显著改善特定主题的问答表现。

本研究探讨了在多任务设置中冻结解码器的微调方法。冻结解码器可以降低部署成本，提高新任务适应性，尤其在自然语言和多语言任务中减少灾难性遗忘。此外，该方法在结构性和问答任务中也表现优异，显示出广泛的适用性。

本研究提出了一种高效的文本嵌入模型微调方法，结合对比学习惩罚函数，以提升信息检索性能。实验结果显示，该方法在文档检索任务中显著提高了效果，预计将对信息检索系统的改进产生积极影响。

本研究探讨了多语言大型语言模型在非英语中的偏见和毒性问题。通过比较微调方法，发现使用非有害文本微调能有效降低偏见，而优化数据集更能减少毒性。研究表明，英语中的缓解效果可以迁移至其他语言，但可能影响非英语的生成能力，强调了开发语言特定缓解方法的重要性。

本研究提出在密集检索模型中整合单一专家混合块（SB-MoE），以提升模型的泛化能力和鲁棒性。实证结果表明，SB-MoE在低参数模型中优于传统微调方法，显著改善了检索效果。

本研究提出了一种基于大型语言模型的商人非玩家角色（NPC）框架MART，旨在解决商人NPC在定价和交流方面的被动性问题。实验表明，微调方法能有效提升小型语言模型的主动性，帮助开发者更好地应用语言模型。

本研究提出了一种对称的BoRA方法，解决了低秩适应中权重矩阵维度不对称的问题，从而优化了模型的适应性。实验结果表明，BoRA在多个基准测试中优于现有的微调方法。

本研究比较了LoRA与全面微调在模型权重矩阵上的差异，发现LoRA模型存在“入侵维度”，而全面微调则没有。尽管两者在目标任务上表现相似，但LoRA在多任务适应性方面较弱，这对理解微调方法的影响具有重要意义。

本文介绍了针对大型语言模型（LLMs）的多种优化方法，包括LOMO优化器、EE-LLM框架、vTrain模拟器和MINI-LLM剪枝技术。这些方法旨在降低内存使用、提高训练效率和推理性能，解决有限GPU内存下的训练问题，并提出基于稀疏专家混合的微调方法，以降低成本并提升性能。

本文研究了多种高效微调方法，重点介绍了低秩适应（LoRA）及其变种，包括LoRA-XS、Masked LoRA Experts (MLAE)和嵌套低秩适应（NoRA）。这些方法通过奇异值分解和新初始化策略，显著提升了模型性能和参数效率，减少了训练时间和内存使用。实验结果表明，这些新方法在多个基准测试中超越了传统LoRA。

本文介绍了多种基于CLIP的适配器模型及其微调方法，如CLIP-Adapter和Tip-Adapter，这些方法显著提升了视觉-语言少样本学习能力，并在视觉分类、问答和迁移学习等任务中表现优异，优化了模型性能和适应性。