本研究探讨了单幅图像超分辨率中的模块可转移性,提出了“普适性”概念及评估方程(UAE),量化模块在不同模型中的转移便利性。优化后的循环残差块(CRB)和深度循环残差块(DCRB)在各类数据集上显著提升了网络性能。
本研究针对生成AI中语言模型的弱至强可信度的普适性进行探讨,揭示了是否强模型可以通过微调弱模型的输出而继承可信属性的问题。我们提出了两种训练策略,并发现公平性、对抗性及OOD鲁棒性等属性在经过正则化后取得显著提升,而隐私等属性则未能表现出弱至强可信度的特征。这一研究为弱至强信任性质的深入理解提供了重要的见解。
本文探讨了深度强化学习在无人驾驶和驾驶仿真中的应用,包括CIRL、DDPG、SMARTS和CtRL-Sim等方法,强调了视觉输入驱动的驾驶任务和多智能体交互的研究进展,并提出了新的评估框架和算法,以提高自主驾驶的安全性和泛化能力。
本文探讨了transformers在整数算术和长序列泛化中的挑战,提出了训练集引导方法以改善乘法性能。研究表明,修改位置编码和数字格式化能提升模型在加法和乘法中的表现,且无需大量数据。大型语言模型在算术任务中表现出色,但在常识推理上仍有局限,需专门训练以应对符号复杂度。
本研究探讨了随机神经网络的收敛性和梯度动态性,结合高斯过程与深度学习理论,揭示了深度网络在信号传播中的表现及其对输入空间的影响。通过数学框架分析,证明了网络的全局收敛性及初始化的重要性。
本文介绍了一种名为Eraser的新型防御方法,旨在降低大型语言模型(LLMs)对越狱攻击的成功率,同时保持模型性能。研究表明,该方法能有效增强模型对有害内容的检测能力,并在多种攻击和防御技术评估中表现出色。此外,通过修剪模型参数,可以提高对越狱提示的抵抗力,而不影响性能。这些发现为LLMs的安全应用提供了重要参考。
多目标跟踪应具备高度的一般化能力,然而现有的跟踪器往往无法满足各种特征,而通过研究并将其抽象成一组跟踪场景属性,我们提出了一种点对点到实例关系的跟踪框架 GeneralTrack,能够在不需要平衡运动和外观的情况下,高效地进行多场景跟踪,从而在多个基准测试中达到最先进的性能,并展示了领域泛化的潜力。
探索了预训练骨干网络在自我监督方式下对息肉分割性能的影响,发现使用 ViT-B 骨干网络的模型通常比使用 ResNet50 骨干网络的模型表现更好。研究结果表明,在考虑泛化能力时,ResNet50 骨干网络的模型通常表现更好,尽管在用于微调的相同数据集的测试集中,ViT-B 骨干网络的模型表现更好。
通过学习三维点与二维参数域内的映射,我们引入了全局自由边界表面参数化的非监督神经网络架构(FAM)。FAM适用于无结构点云数据,降低了对网格质量的要求。实验证明了其普适性、优越性和激发潜力。
我们提出了一种叫作MoDE的方法,通过适度的相互蒸馏,使每个专家能够掌握其他专家学习到的更多特征,从而对其原始分配的子任务有更准确的认识。实验证明了MoDE的有效性、普适性和鲁棒性。通过创新地构建“专家探针”进行了平行研究,实验性地证明了为什么MoDE起作用:适度的知识蒸馏可以提高每个单独专家在其所分配任务上的测试性能,从而提升MoE的整体性能。
该研究介绍了一种新的医学图像框架,通过利用未标记的多视角彩色底片照片的信息,提高模型的稳健性和准确性。通过类别平衡方法、测试时间适应技术和多视角优化策略,解决了领域偏移问题。实验证明该方法在领域普适性和测试时间优化方面表现出色。该框架通过在线适应新的未知数据集,提供了实际部署的解决方案。
本研究分析了神经网络在高斯混合输入下的动力学,发现其趋向于传统理论,这是意外的普遍现象。研究还发现,标准化和非线性函数的结合对此起关键作用。尽管高斯混合分布的复杂性和多样性,神经网络在简单高斯框架下表现出符合预测的渐近行为。
该研究介绍了一种新的框架,用于增强医学图像领域的普适性。通过利用未标记的多视角彩色底片照片的信息,提高模型的稳健性和准确性。实验证明该方法在领域普适性和测试时间优化方面表现出色。
本文通过引入黑盒子基准,全面评估最先进的实体链接方法,解决了实体链接系统缺乏统一框架的问题。研究发现实体链接系统对候选集的依赖性及其对系统普适性的限制,提出了替代候选集的方法,并展示了模型在更宽松的候选集、增加推理时间和内存占用之间的权衡关系。
本文提出了一种基于属性的机器人抓取的端到端学习方法,利用门控-注意力机制融合了工作空间图像和查询文本的嵌入,学习预测实例抓取可行性,并利用抓取前后的对象持久性学习了视觉和文本属性的联合度量空间。模型在模拟中自我监督,可推广到新的对象和真实场景,并演示了只用一个抓取数据即可适应新对象的能力。在未知对象上,实验结果表明,我们的方法实现了超过80%的实例抓取成功率,优于几个基准模型。
LogicAsker是一种用于评估和改进大型语言模型逻辑推理能力的自动方法。它测试了多个语言模型并发现了逻辑推理错误。LogicAsker的测试用例可用于提高语言模型的逻辑推理能力。研究的代码、数据和结果将公开发布。
提出了一种 Diffusion-Information-Diffusion(DID)框架用于解决不同场景和异构领域中的难以预测的盲目面部修复问题,通过进行扩散流形幻觉修正(DiffMAC),实现了多样化退化场景中高通用性的面部恢复,该方法通过 Stage I 对低质量人脸的空间特征嵌入进行修复对齐,并在 Stage II...
循环神经网络(RNN)是一种用于逼近动态系统的工具,但在训练中面临梯度问题。储层计算(RC)是一种特殊的RNN,其循环权重未经训练。研究证明RNN可以逼近线性时不变系统,并提供了RC在泛化LTI系统中的解释。这是可解释机器学习的重要步骤,特别适用于训练样本有限的应用。
通过细调参数的方法,本文提出了基于适配器的若干参数高效的 Fine-Tuning 方法,以简化将单个专业知识和多个专业知识合并到现有的预训练语言模型(PLMs)中的方法。最近的研究(例如...
完成下面两步后,将自动完成登录并继续当前操作。