本研究探讨了单幅图像超分辨率中的模块可转移性,提出了“普适性”概念及评估方程(UAE),量化模块在不同模型中的转移便利性。优化后的循环残差块(CRB)和深度循环残差块(DCRB)在各类数据集上显著提升了网络性能。
本研究针对生成AI中语言模型的弱至强可信度的普适性进行探讨,揭示了是否强模型可以通过微调弱模型的输出而继承可信属性的问题。我们提出了两种训练策略,并发现公平性、对抗性及OOD鲁棒性等属性在经过正则化后取得显著提升,而隐私等属性则未能表现出弱至强可信度的特征。这一研究为弱至强信任性质的深入理解提供了重要的见解。
本文探讨了深度强化学习在无人驾驶和驾驶仿真中的应用,包括CIRL、DDPG、SMARTS和CtRL-Sim等方法,强调了视觉输入驱动的驾驶任务和多智能体交互的研究进展,并提出了新的评估框架和算法,以提高自主驾驶的安全性和泛化能力。
本文探讨了transformers在整数算术和长序列泛化中的挑战,提出了训练集引导方法以改善乘法性能。研究表明,修改位置编码和数字格式化能提升模型在加法和乘法中的表现,且无需大量数据。大型语言模型在算术任务中表现出色,但在常识推理上仍有局限,需专门训练以应对符号复杂度。
本研究探讨了随机神经网络的收敛性和梯度动态性,结合高斯过程与深度学习理论,揭示了深度网络在信号传播中的表现及其对输入空间的影响。通过数学框架分析,证明了网络的全局收敛性及初始化的重要性。
本文介绍了一种名为Eraser的新型防御方法,旨在降低大型语言模型(LLMs)对越狱攻击的成功率,同时保持模型性能。研究表明,该方法能有效增强模型对有害内容的检测能力,并在多种攻击和防御技术评估中表现出色。此外,通过修剪模型参数,可以提高对越狱提示的抵抗力,而不影响性能。这些发现为LLMs的安全应用提供了重要参考。
多目标跟踪应具备高度的一般化能力,然而现有的跟踪器往往无法满足各种特征,而通过研究并将其抽象成一组跟踪场景属性,我们提出了一种点对点到实例关系的跟踪框架 GeneralTrack,能够在不需要平衡运动和外观的情况下,高效地进行多场景跟踪,从而在多个基准测试中达到最先进的性能,并展示了领域泛化的潜力。
探索了预训练骨干网络在自我监督方式下对息肉分割性能的影响,发现使用 ViT-B 骨干网络的模型通常比使用 ResNet50 骨干网络的模型表现更好。研究结果表明,在考虑泛化能力时,ResNet50 骨干网络的模型通常表现更好,尽管在用于微调的相同数据集的测试集中,ViT-B 骨干网络的模型表现更好。
本文综述了神经网络的统计理论,探讨了其在非参数回归、训练动力学及生成模型中的最新进展。研究表明,宽神经网络的学习动态简单,具有高斯过程特性,并提出了基于高斯混合的深度学习方法,展示了其在数据集上的竞争性准确性。
本文介绍了一种新型夹持训练系统,通过抗脊夹持规则获取有效样本,并设计效益解释器网络以预测夹持效益地图。该模型在模拟环境中训练,面对新物体时成功率达到93%。研究结合物体可负担性与环境约束,提出环境感知框架,显著提高抓握策略的效能和泛化能力。
本研究提出了多种方法提升大型语言模型的逻辑推理能力,包括模块化推理器FaiRR、间接推理方法和微调语言模型。通过结合知识图谱和逻辑求解器,改进了推理的可解释性和鲁棒性。研究引入LogicAsker评估模型的逻辑推理能力,发现逻辑推理错误率高达94%。这些方法为未来研究提供了新方向。
提出了一种 Diffusion-Information-Diffusion(DID)框架用于解决不同场景和异构领域中的难以预测的盲目面部修复问题,通过进行扩散流形幻觉修正(DiffMAC),实现了多样化退化场景中高通用性的面部恢复,该方法通过 Stage I 对低质量人脸的空间特征嵌入进行修复对齐,并在 Stage II...
循环神经网络(RNN)是一种用于逼近动态系统的工具,但在训练中面临梯度问题。储层计算(RC)是一种特殊的RNN,其循环权重未经训练。研究证明RNN可以逼近线性时不变系统,并提供了RC在泛化LTI系统中的解释。这是可解释机器学习的重要步骤,特别适用于训练样本有限的应用。
我们提出了一种叫作MoDE的方法,通过适度的相互蒸馏,使每个专家能够掌握其他专家学习到的更多特征,从而对其原始分配的子任务有更准确的认识。实验证明了MoDE的有效性、普适性和鲁棒性。通过创新地构建“专家探针”进行了平行研究,实验性地证明了为什么MoDE起作用:适度的知识蒸馏可以提高每个单独专家在其所分配任务上的测试性能,从而提升MoE的整体性能。
通过细调参数的方法,本文提出了基于适配器的若干参数高效的 Fine-Tuning 方法,以简化将单个专业知识和多个专业知识合并到现有的预训练语言模型(PLMs)中的方法。最近的研究(例如...
研究发现,激活函数对于表示几何的影响强于预期。Tanh网络倾向于学习反映目标输出结构的表示,而ReLU网络保留了更多关于原始输入结构的信息。通过分析权重空间中的学习动态,发现ReLU的非对称渐近行为导致了Tanh和ReLU非线性网络之间的差异。Tanh网络中的特征神经元倾向于继承任务标签结构,因此在目标输出是低维时,Tanh网络生成的神经表示比采用ReLU非线性的表示更具解耦性。
本文评估了SAM模型在零样本学习和微调下的核实例分割性能,并与其他方法进行比较。同时提出使用核实例检测模型为SAM提供视觉提示,从组织学图像中生成核实例掩模。
本文介绍了一种新的自动评分算法,用于巴西全国高等教育入学考试中葡语作文的评分。该算法利用深度学习技术,提高了评分效率和可扩展性,解决了传统人工评分系统的挑战。研究还解决了评分中的物流和财务约束,并承诺提高公平性和一致性。这是在大规模学术环境中应用自动评分算法的重要一步。
本研究综述了最新的深度伪造检测器,并评估了它们在关键标准下的表现。通过考察16个主要检测器在多种攻击场景下的普适性,为深度伪造检测器的研究奠定了基础,并为制定防御策略提供了启示。
本研究介绍了MPerceiver,一种多模态提示学习方法,通过稳定扩散先验增强了全方位图像修复的适应性、普适性和保真性。MPerceiver使用文本和视觉提示进行修复,并通过插件细节优化模块提高修复保真性。实验证明,MPerceiver在多任务预训练和低级视觉方面表现出色。在多个实验和基准测试中,MPerceiver展现了适应性、普适性和保真性的优越性。
完成下面两步后,将自动完成登录并继续当前操作。