本文研究了经过梯度流训练的单隐藏层ReLU网络在$n$个数据点上的收敛性,发现宽度为$ ext{log}(n)$的网络能够高概率实现全局收敛,并揭示了收敛速度的渐近特征。
本研究提出了一种新方法SMOSE,旨在解决连续控制任务中的可解释性问题。通过结合多个可解释决策者和路由器,SMOSE提高了解释的便利性,并在多个基准环境中超越现有的可解释基线,缩小了与非可解释算法的差距。
本研究提出了一种新水印技术“浅层扩散”,旨在解决AI生成内容中的误信息和版权问题。该方法通过低维子空间嵌入隐形水印,显著提升了水印的可检测性和数据一致性,优于现有技术。
研究分析了浅层ReLU$^k$神经网络的变分空间近似能力,证明这些空间包含平滑函数和有限变化范数。文章展示了基于变化范数的最佳逼近率,说明浅层ReLU$^k$网络能实现Hölder函数的最小逼近速率,而过参数化网络能实现接近最优的非参数回归速率。
大型语言模型在知识密集任务中表现出色,但其知识泛化能力不明确。KGQuiz评估框架涵盖五个任务和三个领域,实验显示LLMs在简单问答中表现良好,但在复杂推理和特定领域中有挑战。KGQuiz用于分析不同领域和任务的性能变化,以提升LLMs的知识能力。
研究发现,标准的深度学习方法在持续学习中失去可塑性,提出了持续反向传播算法来保持可塑性,实验结果表明其能提高网络性能。
我们提出了一个使用GANO的数据驱动模型,能够根据震级、破裂距离、VS30和构造环境生成振动加速度时间历程。验证结果显示该框架能够恢复震级、距离和VS30尺度,并生成一致的中位数尺度。该框架应用于风险定位地面运动。
本研究提出了一种新的CDDM框架,用于稀疏视图CT图像重建,实验结果显示CDDM在生成高质量图像方面具有清晰的边界和高计算效率。
通过研究大型语言模型,该论文揭示了语言模型与人类大脑的相似性,重点分析了架构组件中的分词策略和多头注意力以及需求确定性的关键因素,最终提出了一种高度与人类大脑和行为对齐的模型。
降阶建模技术利用自动编码器神经网络学习非线性动力系统的低维流形。新的动力学感知成本函数和斜投影纤维有助于解决快速动力学和非正常性问题。案例研究展示了该方法的应用。还提出了构建计算高效的降阶模型的技术,包括稀疏促进惩罚项的编码器。
该论文研究了未知量子电路的可学习性,提供了评估统计噪声和开发噪声容忍算法的框架。证明了学习常深度量子电路的算法,并讨论了浅层量子电路的可学习性。证明了伪随机幺正不能使用常深度电路构造。
本研究提出了一种新的复合值卷积神经网络(Complex-valued CNN)用于极化合成孔径雷达图像分类。该方法在多个数据集上提高了准确度,并通过对Flevoland数据的分析证明了其有效性。
学习量子态和幺正算子的复杂度与创建这些态和算子的复杂度相关。量子状态重构和学习存在困难,但学习量子电路生成的态和幺正算子表明采样复杂度与门复杂度线性相关,查询复杂度与门数线性相关。计算复杂度根据可信的加密猜想呈指数爆炸增长。这些结果限制了量子机器学习模型的表达能力,且对幺正算子学习中的no-free-lunch定理提供新的视角。
SFDA通过使用多模态模型和DIFO方法,解决了现有方法中的错误问题,实验结果表明DIFO优于现有替代方法。
本研究通过分析使用标准的浅层前馈网络来模拟原始 Transformer 模型中的注意力机制的有效性,采用知识蒸馏的方法,用简单的前馈网络替换 Transformer 中的关键元素,并在 IWSLT2017 数据集上进行实验,发现这种 “无注意力 Transformer”...
提出了一种基于深度神经网络的时间序列分类新基准线,包括全卷积网络(FCN)和深层ResNet结构,通过全局平均池化和类激活映射(CAM)实现了优异性能,为未来研究提供了良好起点。
本文讨论了“浅层大脑假说”,该假说认为大脑处理可能比想象的更少层次,更集成,涉及皮层和皮层下之间的并行路径。作者认为,这种浅层架构比深层层次结构更具优势,并且更全面地展示了哺乳动物大脑如何实现快速、灵活的计算。
该研究提出了一种用于处理面部识别服务中数据隐私问题的数据隐私最小化转换方法,通过增强扰动方法和多重限制机制提高鲁棒性和可扩展性,有效防止面部数据滥用和隐私泄露,同时保持面部识别的准确性。
研究发现,几乎所有已知的激活函数类型都可以用小型三层前馈神经网络在高维空间上表达,但无法用任何二层网络近似到特定常数精度以上,除非它的宽度在指数级别。深度比宽度对于标准前馈神经网络的提升价值可以是指数级别。该结果需要更少的假设,并且证明技巧和构造方法非常不同。
研究发现,线性化浅层 transformer 模型能够重现 transformer 训练动态的几个重要方面,对 transformer 训练的复杂性有更深入的了解。结果表明,简单的线性化 transformer 模型是理解 transformer 优化的有价值的现实抽象。
完成下面两步后,将自动完成登录并继续当前操作。