本研究解决了从视觉语言模型(如CLIP)中检索不安全内容的问题。目前的消除学习技术虽然能减少不当输出,但限制了模型辨别安全和不安全内容的能力。我们提出一种新方法,利用超曲率空间的层次属性,将安全与不安全内容编码为蕴涵层次,从而增强了模型的安全意识,改进了视觉语言模型在内容审核中的适应性和可解释性。
本研究提出了一种新方法——自适应局部主成分分析(AdaL-PCA),用于分析单细胞转录组测序数据,能够准确估计数据流形的内在曲率,揭示细胞分化中的关键变化。
本研究解决了在多模态数据处理中文本、图像和3D点云模态统一性不足的问题。提出了一种超曲率多模态对比预训练的方法,并引入了包含内模态和跨模态层次结构的正则化技术。这些方法显著提高了3D点云的编码效果,并在多个下游任务中表现出色。
本研究提出了一种局部曲率平滑方法,解决了基于评分的扩散模型训练中的计算负担,特别是雅可比迹的计算问题。该方法显著提升了样本生成性能,尤其在高分辨率图像生成方面表现突出。
本文介绍了多种点云数据处理的新方法,如PointDAN、PoinTr和AdaPoinTr,旨在提升三维领域自适应性能。通过自适应模块、Transformer架构和几何感知块等技术,研究显示在多个数据集上取得了优异的性能,尤其在点云补全和分类任务中,显著提高了模型的泛化能力和分类准确率。
本研究探讨了超几何嵌入、对比学习和自监督学习等新方法在医学图像和文本数据中的应用。提出的MERU和RAD-DINO模型在特征提取和少样本学习中表现优异,提升了数据使用效率和模型性能。同时,引入的HYPE方法显著提高了数据筛选效率,为自监督学习模型的发展提供了新思路。
本文提出了多种新方法以提升生成图像质量,包括模糊引导、高级自注意引导和无分割引导等。这些方法在无条件和条件生成任务中表现优越,显著提高了扩散模型的性能,并探讨了自适应引导和损失指导的影响,提出了有效的优化策略。
本文探讨了损失海森矩阵在多项分类任务中的演化及其对训练动态的影响。研究表明,优化轨迹应避免高曲率区域,以提高学习率的稳定性。分析不同步长调节器的表现发现,Polyak步长优于Armijo线搜索。此外,提出了一种自适应学习率算法,利用曲率信息自动调整学习率,显著提升深度神经网络的性能。
本文探讨了深度学习中损失曲率与模型性能的关系,分析了焦损失函数对训练动态的影响,并提出通过曲率测量神经网络的记忆化能力。研究表明,避免高曲率区域可提高学习稳定性,并提出新方法增强对隐私攻击的防御能力。
本研究提出了一种多样化训练方法,通过多个神经网络的损失函数不相关性来提高对抗攻击的鲁棒性。结果表明,该方法显著增强了集成模型的对抗防御能力,减少了攻击的迁移效应,并提升了模型的准确性和鲁棒性。
本文探讨了基于数据学习的Hamilton系统,提出了利用深度神经网络和数值分析识别非线性动态系统的方法。研究集中于构建具有固有稳定性的二次控制动力学模型,并通过多个机器人实验验证其有效性。结合动态模型和李雅普诺夫函数,确保系统在整个状态空间内保持稳定。
本文介绍了在线多梯度下降算法(OMGD)在有限信息环境中的应用,解决了带有二次和线性切换成本的问题。研究证明OMGD算法在二次切换成本问题中具有竞争比为至多4(L+5)+(16(L+5))/μ。对于有界信息环境中的在线算法,其竞争比的上界和下界分别为max{Ω(L), Ω(L/√μ)}。OMGD算法实现了有限信息环境下的动态最优遗憾,并且对于线性切换成本,其竞争比的上界取决于问题实例的路径长度、平方路径长度以及L、μ,并且被证明是任何在线算法能够达到的最佳竞争比。因此,在有限信息环境中,二次和线性切换成本的最优竞争比基本上是不同的。
该文章提出了一种新的方法,通过利用曲率信息加速随机梯度下降(SGD)。该方法使用两个预条件器,并使用稳健的在线更新来保持对称性和不变性。该方法在多个深度学习任务上优于现有方法。
本文提出了一种基于自监管训练的图神经网络的数据驱动方法,用于加速科学计算和优化中的大规模线性方程组求解。通过替换传统的手工制备预处理器,实现了收敛速度和计算效率的显著提速。
Sharpness-Aware Minimization (SAM)是一种有希望的训练方法,用于改善大型神经网络在存在标签噪声的情况下的泛化性能。该研究证明了在某些数据模型和两层卷积ReLU网络中,SAM优于随机梯度下降(SGD)。实验结果在合成和真实数据上支持了理论发现,SAM可以防止早期噪声学习并促进更有效的特征学习。
K-FAC是一种高效的逆近似方法,用于近似神经网络的Fisher信息矩阵,表现比先前的近似自然梯度/牛顿方法更好。
本文提出了第一个归纳式的超几何图卷积神经网络(HGCN),利用超几何空间的表达能力和嵌入高度曲率的特点来学习分层和无标度图的归纳式节点表示。实验证明,HGCN 学习到的嵌入保留了分层结构,并且在链路预测和节点分类中获得了更好的性能。
PROMISE是一套基于草图的预条件随机梯度算法套件,用于解决大规模凸优化问题。通过理论分析和默认超参数,实验证实了算法的卓越性能。引入二次正则性概念,建立了方法的线性收敛性。
本研究从拓扑学角度理解深度图神经网络中的过度平滑和过度挤压问题,并提出了基于Ricci曲率边界的SJLR算法,以减轻这两个问题的影响并更好地理解它们。
本文介绍了两种简单的随机二阶方法,用于最小化光滑和强凸函数的平均值。这些方法包括牛顿方法的随机变体(SN)和具有立方正则化的牛顿方法的随机变体(SCN)。与现有的随机二阶方法不同,这些方法每次迭代只需要计算一个随机选择函数的梯度和海森矩阵,避免了其他方法的缺点。与大多数现有的随机牛顿和拟牛顿方法相比,这些方法保证了比一阶 oracle 更快的本地收敛,并适应了问题的曲率。虽然这些方法不是无偏的,但为设计新的随机方法提供了新的直觉。
完成下面两步后,将自动完成登录并继续当前操作。