本文探讨了如何通过先进的自然语言理解技术提升大型语言模型的能力。尽管大型语言模型在自然语言处理任务中取得了显著进展,但在语义理解、上下文连贯性和细微推理方面仍面临挑战。研究分析了结构化知识图谱、检索增强生成和微调策略等方法,强调语义精确性对提升AI语言系统的重要性,并提出未来研究方向。
本研究探讨了基础时间序列模型在增量学习中的持续改进能力。研究表明,Time-MoE和Chronos等模型在增量微调中能够持续提高预测精度,而传统模型则表现下降,强调了优化微调策略的重要性。
本研究探讨了低秩适应(LoRA)在航拍图像跨域少样本目标检测中的应用。将LoRA集成到DiffusionDet中,结果显示在1-shot和5-shot的低样本设置下,性能略有提升,表明其在资源有限情况下的适应潜力,对少样本学习的微调策略研究具有重要意义。
本研究提出了一种新微调策略,利用集基提示方法解决大型语言模型在自然语言处理中的顺序依赖性问题,从而显著提升多项选择任务的准确性和鲁棒性。
本研究提出了ProJudgeBench,这是第一个用于评估多模态大语言模型(MLLM)过程判断能力的基准。研究表明,开放源代码模型与专有模型之间存在显著性能差距,并通过ProJudge-173k数据集和双阶段微调策略提升了开放源代码模型的评估能力。
本研究探讨了在患者群体和临床实践差异显著的情况下,临床机器学习的知识转移挑战。通过对比预测编码(CPC)进行表示学习,发现合适的微调策略能有效促进知识共享,尤其在数据有限时。研究结果表明,时间进展模式比临床决策更易转移,为跨机构部署提供了可行路径。
论文提出了AlignSum框架,通过构建数据金字塔,结合抽取、生成和人工标注的方法,提升预训练语言模型在文本摘要生成中的能力。该框架解决了低质量数据导致的自动与人工评估不一致问题,并采用高斯重采样和两阶段微调策略,使模型更好地对齐人类摘要偏好。实验结果表明,AlignSum显著提升了模型性能。
本研究探讨了大语言模型后训练量化中的量化简化问题,重点分析各层的量化误差。引入两种微调策略,相较于单一微调,效果因模型而异,对某些模型有显著提升。
本文介绍了一种保护用户在线隐私的方法,开发了19个自我披露类别的分类系统,并建立了一个包含4800个注释的大样本。通过微调语言模型,Token F1超过75%。用户研究显示,82%的参与者对模型持积极态度。提出了自我披露抽象任务,尝试多种微调策略,最佳模型在降低隐私风险的同时保持高效用。
本文提出了一种微调策略,通过减少可训练参数的数量来优化私有扩散模型的参数效率,实现了隐私-效用平衡。在DP合成方面取得了最先进的性能,在广泛研究的数据集上明显超过了先前的基准。
该论文提出了一种新的基础框架,用于推动主体与物体间的自我互动识别。论文提供了全面的预训练集、平衡测试集和新的基准,并通过训练微调的策略实现了与Ego-HOI基准的最新性能。论文构建了几种新的有效机制,为自我互动理解的研究提供了新的道路。
研究发现,微调3D感知数据可以提高视觉基础模型对物体和场景三维结构的理解。通过将语义2D特征转换为高效的3D高斯表示,并使用渲染的3D感知特征设计微调策略,研究者发现微调的模型可以提高语义分割和深度估计等下游任务的性能。虽然只在一个室内数据集上进行了微调,但性能提升适用于各种室内数据集和领域外数据集。研究鼓励社区在训练2D基础模型时考虑注入3D感知性。
本研究介绍了ConceptMath,一个用于评估语言模型数学推理能力的双语基准。通过按照数学概念层次组织问题,可以评估不同细粒度的数学推理能力。提出了微调策略以改进模型的弱点。希望ConceptMath能指导开发人员了解模型的数学能力并促进模型发展。
本文提出了使用助理模型的训练方法,通过有针对性的预训练和微调策略优化,显著减少了多语言环境中大语言模型的推理时间。验证结果表明这些模型在推理时间、领域外优化和GPT-4o评估方面表现良好。
本文提出了一种微调策略,通过减少可训练参数的数量来增强隐私-效用平衡,在DP合成方面取得了最先进的性能。
本研究分析了不同QA数据集上的微调策略性能,发现使用预训练语言模型与目标数据集和SQuAD数据集微调的策略在低预算下效果最佳,性能优于标准策略2.28%至6.48%。该研究表明低预算下QA系统的微调具有实用价值。
本研究介绍了ConceptMath,一个用于评估语言模型数学推理能力的双语基准。通过按照数学概念层次组织问题,可以评估不同细粒度的数学推理能力。提出了微调策略以改进模型的弱点。希望ConceptMath能指导开发人员了解模型的数学能力并促进模型的发展。
本研究分析了不同QA数据集上的微调策略性能,发现传统的基于预训练语言模型和微调策略在低预算下次优。最佳策略是使用预训练语言模型与目标数据集和SQuAD数据集微调,性能优于标准策略2.28%至6.48%。对QA从业者在低预算下微调QA系统具有实用价值。
2022年末发布的ChatGPT在人工智能领域带来了巨大变革。尽管闭源LLM通常优于开源模型,但开源LLM的进展迅速,并在某些任务上取得了与ChatGPT相当甚至更好的表现。本文综述了开源LLM的研究,并调研了开源LLM声称已达到或超过ChatGPT水平的任务。开源LLM的发展趋势包括扩大模型规模和改进微调策略。最佳开源LLM的秘诀包括使用高质量数据进行微调和优化模型架构。开源LLM可能存在的问题包括预训练期间的数据污染和持续提升模型基本能力的困难。开源LLM的发展有助于缩小与闭源模型的差距。
本文研究了标签错误对模型不平衡指标的影响,并提出了一种估算训练输入标签影响的方法。结合自动重新标记和微调策略,能够显著改善模型的不平衡指标和群体校准误差。
完成下面两步后,将自动完成登录并继续当前操作。