本研究解决了从视觉语言模型(如CLIP)中检索不安全内容的问题。目前的消除学习技术虽然能减少不当输出,但限制了模型辨别安全和不安全内容的能力。我们提出一种新方法,利用超曲率空间的层次属性,将安全与不安全内容编码为蕴涵层次,从而增强了模型的安全意识,改进了视觉语言模型在内容审核中的适应性和可解释性。
本研究提出了一种混合曲率图自编码器CurvGAD,解决了传统图异常检测忽视网络内在曲率的问题。实验结果显示,该方法在10个数据集上的性能提升最高可达6.5%。
本研究提出了一种新方法——自适应局部主成分分析(AdaL-PCA),用于分析单细胞转录组测序数据,能够准确估计数据流形的内在曲率,揭示细胞分化中的关键变化。
本研究解决了在多模态数据处理中文本、图像和3D点云模态统一性不足的问题。提出了一种超曲率多模态对比预训练的方法,并引入了包含内模态和跨模态层次结构的正则化技术。这些方法显著提高了3D点云的编码效果,并在多个下游任务中表现出色。
本研究提出了一种局部曲率平滑方法,解决了基于评分的扩散模型训练中的计算负担,特别是雅可比迹的计算问题。该方法显著提升了样本生成性能,尤其在高分辨率图像生成方面表现突出。
本研究提出使用权重曲率指数(WCI)来分析对抗鲁棒性泛化问题。WCI量化模型对抗扰动的脆弱性,帮助设计更坚固的深度学习模型,提高模型的可靠性和安全性。
本文提出了PoinTr模型,将点云补全视为集合转换问题,使用Transformer架构。通过几何感知块和自适应查询生成机制,提高了训练效率和效果。实验显示,该方法在多个数据集上表现优异,尤其是AdaPoinTr在效率和性能上突出。
最近的研究发现,双曲空间中的分层数据能够产生低维度和高信息量的表示。本文研究了原型双曲神经网络在高维度情况下的收敛性和对少样本分类的影响。结果显示,通过双曲嵌入可以得到最佳的少样本结果。配备欧几里德度量的固定半径编码器可以获得更好的性能。
该文章介绍了一种新的无分割引导方法,用于提高文本到图像扩散模型的性能。该方法通过动态调整生成图像中每个补丁的负提示,无需重新训练模型。客观和主观评估结果表明,无分割引导方法优于无分类器方法。
研究者提出了一种新的学习率调整方法CDAT,通过分析学习率调整和曲率间的闭环反馈效应。CDAT在深度学习目标上表现良好,优于调整后的恒定学习率。研究还发现,在小批次处理模式下,随机性引入了混淆效应,解释了一些学习率调整器在适当的批次大小上取得成功的原因。这项研究对于理解学习率和曲率的联合动态以及设计有效的自适应学习率调整器具有重要意义。
本文研究了深度神经网络中输入损失曲率的特性,探讨了训练集和测试集之间的损失曲率变化及其对测试集辨别性的影响。实验证实了输入损失曲率在成员隶属推断攻击中的效果优于现有方法,基于曲率的攻击在足够大的数据集上胜过其他方法。这些发现不仅推进了对深度神经网络行为的理解,还改进了测试隐私保护技术的能力。
研究发现神经网络的可学习性与流形的曲率、正则性和数据流形的体积有关。有限曲率限制了学习问题的可解性,而数据流形的体积增加则提高了网络的可学习性。还探讨了具有异质特征的中间流形区域的情况。
该论文提出了一种新的方法,通过探索个体网络之间的交互来提高集成模型的抗干扰性,并演示了一种适应性的多样性促进正则化器,以提高集成的鲁棒性。该方法在各种数据集上取得了良好的实验效果。
本研究旨在开发一种能够推断具有稳定性保证的二次控制动力学系统的方法。通过研究控制系统的稳定性特征,识别出有界输入有界状态稳定的条件,并应用于学习过程,产生设计上固有稳定的推断模型。通过数值示例验证了该方法的有效性。
本文介绍了在线多梯度下降算法(OMGD)在有限信息环境中的应用,解决了带有二次和线性切换成本的问题。研究证明OMGD算法在二次切换成本问题中具有竞争比为至多4(L+5)+(16(L+5))/μ。对于有界信息环境中的在线算法,其竞争比的上界和下界分别为max{Ω(L), Ω(L/√μ)}。OMGD算法实现了有限信息环境下的动态最优遗憾,并且对于线性切换成本,其竞争比的上界取决于问题实例的路径长度、平方路径长度以及L、μ,并且被证明是任何在线算法能够达到的最佳竞争比。因此,在有限信息环境中,二次和线性切换成本的最优竞争比基本上是不同的。
该文章提出了一种新的方法,通过利用曲率信息加速随机梯度下降(SGD)。该方法使用两个预条件器,并使用稳健的在线更新来保持对称性和不变性。该方法在多个深度学习任务上优于现有方法。
本文提出了一种基于自监管训练的图神经网络的数据驱动方法,用于加速科学计算和优化中的大规模线性方程组求解。通过替换传统的手工制备预处理器,实现了收敛速度和计算效率的显著提速。
Sharpness-Aware Minimization (SAM)是一种有希望的训练方法,用于改善大型神经网络在存在标签噪声的情况下的泛化性能。该研究证明了在某些数据模型和两层卷积ReLU网络中,SAM优于随机梯度下降(SGD)。实验结果在合成和真实数据上支持了理论发现,SAM可以防止早期噪声学习并促进更有效的特征学习。
K-FAC是一种高效的逆近似方法,用于近似神经网络的Fisher信息矩阵,表现比先前的近似自然梯度/牛顿方法更好。
本文提出了第一个归纳式的超几何图卷积神经网络(HGCN),利用超几何空间的表达能力和嵌入高度曲率的特点来学习分层和无标度图的归纳式节点表示。实验证明,HGCN 学习到的嵌入保留了分层结构,并且在链路预测和节点分类中获得了更好的性能。
完成下面两步后,将自动完成登录并继续当前操作。