本研究解决了深度Q网络(DQN)在逼近能力证明中未考虑最佳Q函数内在结构特性的不足。通过建立一个针对DQN架构的新型通用逼近定理,展示了深度残差网络层如何通过模仿Bellman更新的迭代过程来有效逼近Bellman算子,进而提供了对控制问题结构的深刻理解,从而推动了价值函数精细化的迭代与误差传播控制。
本文研究了深度Q网络在连续时间框架下的逼近特性,发现其能够以任意精度逼近最优Q函数,为深度强化学习与随机控制的结合提供了新见解。
本文研究了多元脊函数对Sobolev函数逼近的上下界,提出了一种方法,揭示了逼近速度与正则性之间的关系,并为广义平移网络和复值神经网络在Sobolev函数逼近中的应用提供了渐近界,从而加深了对复杂网络逼近能力的理解。
本研究分析了大型语言模型(LLMs)的能力结构,指出其能力可分为推理、理解和核心语言建模三部分。文章综述了LLMs的评估方法,探讨了知识、对齐和安全评估的主要方面,并提出了改进评估机制的建议,以提升LLMs的可靠性和社会利益。
本文研究了深层ReLU网络在逼近光滑函数方面的优势,提出了改进的RNN模型及其在PAC学习中的应用,探讨了不同网络结构的推广能力和训练效果。研究表明,适当的超参数化和初始化可以提高学习效率,并在动态系统中实现最优性。
本文解决了验证神经网络在几何变换(如旋转、缩放、剪切和平移)下的鲁棒性问题。提出的方法通过采样和线性逼近结合分支限界的Lipschitz优化来计算像素值的可证明的分段线性约束,显著提高了对扰动区域的过度逼近精度。实验结果表明,该方法能更有效地解决比现有方法更多的验证案例。
该论文综述了神经网络的通用逼近定理及其在计算机视觉中的应用,探讨了卷积神经网络和Transformer模型的理论基础,解决了模型的泛化能力问题。同时,提出了UniAP方法以提高训练效率,实验结果显示其性能显著优于现有方法。
本文探讨了大型语言模型(LLMs)在自然语言处理中的应用及评估挑战,强调可靠性的重要性,建议使用精心策划的数据集进行模型评估。同时指出过度依赖LLMs可能导致虚假信息和伦理问题,呼吁开发基于社会需求的评估方法。
本研究提出了一种基于泊松时钟模型的强化学习算法,克服了离散时间和状态的局限性,实现了连续时间下的学习和规划任务。研究探讨了线性贝尔曼完备性下的值迭代算法,提供了多项式时间复杂度的解决方案,并分析了样本复杂性和策略评估的有效性。
这篇研究论文探讨了基于变压器架构的大型语言模型(LLMs)的发展及其在自然语言处理中的应用,特别是GPT和BERT在教育、技术和金融等领域的潜力。尽管LLMs在多个领域表现出色,但在健身和城市规划等领域的应用仍需深入研究。论文还分析了LLMs在数学和科学领域面临的挑战与机遇。
该研究提出了图卷积注意力层(CAT)和自适应图卷积网络(AGC-net)等多种图神经网络架构,以提高图结构数据处理的效率和准确性。实验结果表明,这些新模型在多个数据集上优于现有方法,有效解决了图分类和节点特征学习中的关键挑战。
神经网络架构、随机初始化权重、神经网络高斯过程核、再生核希尔伯特空间、逼近误差是该研究论文的关键词,论文提出了一种在无限宽度限制下具有随机初始化权重的神经网络架构,它等价于一个具有高斯随机场协方差函数的神经网络高斯过程核,同时证明了该神经网络架构可以逼近由该核定义的再生核希尔伯特空间中的函数。实验结果验证了该理论发现的可行性。
本文介绍了傅里叶神经映射(FNM)框架,利用算子学习方法高效近似参数化物理模型,特别是在非线性参数与可观测量之间的映射。研究了离群分布的泛化问题,并提出了信息论泛化边界的通用框架,同时在部分可观测马尔可夫决策过程中提供了新的启发式方法。
本文探讨了多臂赌博机问题的样本复杂性,提出了新算法和复杂度度量,研究了不同情况下的遗憾最小化策略,并展示了算法在信息检索和在线学习中的优越性。
Adapprox 是一种使用随机低秩矩阵近似来更有效准确地近似 Adam 的二次矩的新方法,在 GPT-2 训练和下游任务中,Adapprox 相比 AdamW 能够实现 34.5%到 49.9%和 33.8%到 49.9%的内存节省,并且它通过提高收敛速度和改进下游任务性能相对于其他方法。
本文研究了具有延迟更新的随机逼近方案的非渐近性能。研究发现,延迟的SA更新规则能够快速收敛到固定点周围的球体,减缓了最大延迟对收敛速率的影响,并且不需要关于延迟序列的先验知识来进行步长调整。这些理论发现对TD学习、Q学习和马尔可夫采样下的随机梯度下降等算法具有有限时间效果。
本论文介绍了一种使用神经网络进行近似推理的方法,通过在查询变量上使用连续多线性函数来近似赋值的代价,并通过神经网络输出解决方案。实验证明该方法在求解概率电路中的最大边后验和边后验最大估计任务时优于竞争的线性时间近似方法。
本文对联邦线性随机逼近(FedLSA)算法进行了非渐进分析,提出了SCAFFLSA来校正异质代理的本地训练引入的偏差,并证明其在统计异质性方面的收敛性。同时应用于联邦时序差异学习,并分析了复杂度改进。
我们开发了一种新的方法HTBB,用于多维黑盒逼近和无梯度优化。该方法基于低秩分层Tucker分解,并采用MaxVol指标选择过程。通过数值实验,证明了该方法在维度为1000的情况下的稳健性和准确性。
本文介绍了一种基于旋转不变设计矩阵的广义线性模型中的信号估计问题的解决方法。提出了一种新颖的近似传递消息算法(AMP),通过状态演化递归在高维极限下严格表征了其性能。该算法与现有的基于高斯设计的AMP具有相同的复杂度,并且能够作为特例恢复现有的AMP。数值结果显示,该算法在性能上接近于Vector AMP,但复杂度更低,因为不需要进行昂贵的奇异值分解。
完成下面两步后,将自动完成登录并继续当前操作。