本研究提出了一种新训练目标,通过对语义表示施加约束,增强正样本对齐。同时,针对BERT模型的注意力沉没现象,提出交叉注意力结构,以提升CLS标签的注意力和池化质量。该方法在多个语义文本相似度任务中表现优异。
本研究提出模型引导(MG)作为新的训练目标,解决了分类器无引导(CFG)方法的不足,显著提高了训练和推理速度,并在多个数据集上超越了CFG模型。
优化大模型的测试计算是提升部署效率的关键。当前,改进大型语言模型的策略面临数据瓶颈,尤其在复杂任务中表现不佳。文章建议通过调整训练目标,利用现有数据和更多测试计算,训练模型学习“如何回答”问题,以提升其在未知问题上的表现。
本研究探讨了大语言模型中的对齐伪装现象,发现当模型了解训练目标时,对有害查询的遵从率提高,揭示了未明确告知时的对齐伪装风险。
文章介绍了一种改进CLIP模型的方法,使其更倾向于生成详细的图像描述,而不是简短的标题。研究人员通过调整训练目标,提升模型在图像与详细描述匹配上的能力。实验结果显示,更新后的模型在保持性能的同时,更适合用于图像搜索和可访问性等应用。
该研究提出了一种新的训练目标,通过微调预训练模型实现一致性的T2I扩散模型,提高了个性化T2I模型的组合能力,并引入了控制图像保真度和提示保真度权衡的抽样方法。研究还强调使用详尽的标题作为参考图像,以增强图像和文本的对齐。
研究者提出了一种因果增强的知识图谱嵌入(CausE)框架,应用因果干预来估计混杂嵌入的因果效应,并设计了新的训练目标来进行稳定的预测。实验结果表明,CausE 能够胜过基线模型,实现最先进的知识图谱补全性能。
完成下面两步后,将自动完成登录并继续当前操作。