机器之心数据服务现已上线,提供高效稳定的数据获取,简化数据爬取流程。
本研究分析了大语言模型在安全对齐方面的脆弱性,指出模型的安全行为受到广泛学习动态的影响,挑战了安全对齐独立几何方向的假设,并强调了在持续训练中保持对齐的重要性。
本研究提出了一种名为HRLFS的方法,通过多智能体层次强化学习提高特征选择效率。该方法结合大型语言模型提取特征,优化计算时间,提升机器学习性能,展现出良好的效率与可扩展性。
该研究提出了一种新的持续全细调方案,解决大型语言模型的灾难性遗忘问题。通过自适应奇异值分解,动态识别低秩参数子空间,减少干扰,显著提升模型的准确性和语言能力保留。
本研究解决了模型定制中获取多样化和高质量数据的困难问题。提出的TreeSynth框架通过递归划分数据空间,实现对合成数据的全面和多样化生成。实验结果显示,TreeSynth在数据多样性和下游任务表现上均优于现有方法,具有显著的改善效果。
本研究提出了一种新方法CS-ReFT,旨在解决大型语言模型在多任务适应中的交叉技能干扰问题。该方法通过学习正交子空间变换,提升了多任务指令执行能力,并在AlpacaEval基准测试中表现优异。
本研究解决了大语言模型(LLM)在对抗性操作下的脆弱性问题,特别是通过提示注入攻击绕过安全机制生成有害内容的风险。我们提出了一种新颖的方法,通过提取隐藏激活状态,识别安全与被监狱化状态之间的潜在子空间,并通过扰动向量诱导模型向监狱化状态转变,从而实现预防性防御的可能性。
本研究解决了大型语言模型微调中存在的参数高效性不足的问题,尤其是在低秩适应方法的限制下。通过提出一种新的子空间反卷积微调方法(DCFT),研究者们展示了如何通过调整内核大小来动态控制参数,突破了秩一分解的局限性,并在大量实验中验证了该方法比传统LoRA更具参数效率,降低了8倍参数同时保持良好的性能。
本研究提出了一种新方法,针对多保护属性下的偏见检测问题,将其重新定义为测度空间中的点到子空间问题,展示了高效的子抽样能力,具有重要的实际应用价值。
本研究解决了现有方法在复杂风格适应上的不足和高计算成本的问题,提出了一种通过表示编辑生成风格化大型语言模型(LLM)响应的新方法DRESS。该方法利用LLM的超参数特性,解耦模型表示空间中的风格相关子空间,动态调整风格控制,从而在保持语义完整性的同时实现风格忠实度。研究结果显示,DRESS在风格化对话代理的开发上具有重要的应用价值。
本文介绍了投影潜空间扩散模型(PVDM),该模型通过自编码器在低维潜空间中学习视频分布,能够高效生成任意长度的视频。研究表明,PVDM在视频生成质量上优于传统方法。同时,文章探讨了医学图像生成中的隐私保护问题,提出了新的隐私保护扩散模型,并评估了合成数据的隐私影响。
本研究针对矩阵分解在流形学习中的挑战,提出了一种子空间约束的二次矩阵分解模型,旨在联合学习关键的低维结构。通过交替最小化方法解决该模型,实验结果表明,所提模型在捕捉核心低维结构方面超越了现有方法,显示出其鲁棒性和有效性。
FlexLoRA是一种用于大语言模型微调的聚合方案,通过动态调整LoRA等级和奇异值分解(SVD)优化权重,提升联邦学习的效率和隐私保护。实验表明,FlexLoRA在多样化的自然语言处理任务中性能平均提高3.1%。此外,研究提出了FedPT和FedSA-LoRA等方法,解决资源限制和隐私问题,显著降低计算和内存开销,展现良好的应用潜力。
本研究提出了一种新水印技术“浅层扩散”,旨在解决AI生成内容中的误信息和版权问题。该方法通过低维子空间嵌入隐形水印,显著提升了水印的可检测性和数据一致性,优于现有技术。
本文介绍了多种针对大型语言模型微调的低秩适应方法,如Delta-LoRA、O-LoRA、SoRA和ALLoRA。这些方法通过优化参数更新和内存使用,显著提高了微调效果,解决了灾难性遗忘问题,并在多种任务中表现优异。实验结果显示,这些新方法在效率和性能上均优于传统的LoRA和全精调技术。
随着个性化和隐私需求的增加,源无关无监督领域适应(SFDA)在时间序列数据中变得重要。我们提出了一种新方法,通过Tucker分解优化源模型权重,并在目标侧微调部分因子,提高效率和适应性。实验显示,该方法在资源受限设备上的时间序列应用中表现优异。
该研究解决了大规模语言模型(LLM)微调中因反向传播导致的高内存需求的问题。论文提出了一种新的随机子空间零阶(SubZero)优化方法,通过采用针对 LLM 的低秩扰动显著降低内存消耗并提升训练性能。实验结果表明,SubZero 在微调性能和收敛速度上优于传统的零阶优化方法。
本文提出了一种基于深度学习的3D骨重建方法,能够从二维X射线图像中高效估计骨头结构,预测精度优于其他方法。同时,研究介绍了自监督学习和CT-MRI注册技术,优化了医学图像中的骨折检测,提高了手术图像配准的准确性和效率,展示了深度学习在医学影像分析中的潜力。
本研究解决了大型语言模型中概念表示不稳定的问题,提出了一种用高斯概念子空间近似特定概念的方法。通过对多个不同规模和架构的模型进行实验,我们证明了这种方法在保持自然语言生成流畅性的同时,可以有效地提升情感引导等实际应用中的表现。
本文探讨了构建通用神经机器翻译系统的研究,涵盖103种语言的翻译,强调迁移学习对低资源语言的提升。研究表明,通过微调大型语言模型(LLM),可显著改善翻译任务的性能,尤其是在特定任务的知识提取和模型优化方面。新方法LoRA-Dash有效提高了模型性能,呼吁进一步研究以实现更高效的大规模多语言翻译。
完成下面两步后,将自动完成登录并继续当前操作。