本研究解决了深度Q网络(DQN)在逼近能力证明中未考虑最佳Q函数内在结构特性的不足。通过建立一个针对DQN架构的新型通用逼近定理,展示了深度残差网络层如何通过模仿Bellman更新的迭代过程来有效逼近Bellman算子,进而提供了对控制问题结构的深刻理解,从而推动了价值函数精细化的迭代与误差传播控制。
本文研究了深度Q网络在连续时间框架下的逼近特性,发现其能够以任意精度逼近最优Q函数,为深度强化学习与随机控制的结合提供了新见解。
本文研究了多元脊函数对Sobolev函数逼近的上下界,提出了一种方法,揭示了逼近速度与正则性之间的关系,并为广义平移网络和复值神经网络在Sobolev函数逼近中的应用提供了渐近界,从而加深了对复杂网络逼近能力的理解。
本研究分析了大型语言模型(LLMs)的能力结构,指出其能力可分为推理、理解和核心语言建模三部分。文章综述了LLMs的评估方法,探讨了知识、对齐和安全评估的主要方面,并提出了改进评估机制的建议,以提升LLMs的可靠性和社会利益。
本文研究了深层ReLU网络在逼近光滑函数方面的优势,提出了改进的RNN模型及其在PAC学习中的应用,探讨了不同网络结构的推广能力和训练效果。研究表明,适当的超参数化和初始化可以提高学习效率,并在动态系统中实现最优性。
本文解决了验证神经网络在几何变换(如旋转、缩放、剪切和平移)下的鲁棒性问题。提出的方法通过采样和线性逼近结合分支限界的Lipschitz优化来计算像素值的可证明的分段线性约束,显著提高了对扰动区域的过度逼近精度。实验结果表明,该方法能更有效地解决比现有方法更多的验证案例。
该论文综述了神经网络的通用逼近定理及其在计算机视觉中的应用,探讨了卷积神经网络和Transformer模型的理论基础,解决了模型的泛化能力问题。同时,提出了UniAP方法以提高训练效率,实验结果显示其性能显著优于现有方法。
本文探讨了大型语言模型(LLMs)在自然语言处理中的应用及评估挑战,强调可靠性的重要性,建议使用精心策划的数据集进行模型评估。同时指出过度依赖LLMs可能导致虚假信息和伦理问题,呼吁开发基于社会需求的评估方法。
本研究提出了一种基于泊松时钟模型的强化学习算法,克服了离散时间和状态的局限性,实现了连续时间下的学习和规划任务。研究探讨了线性贝尔曼完备性下的值迭代算法,提供了多项式时间复杂度的解决方案,并分析了样本复杂性和策略评估的有效性。
这篇研究论文探讨了基于变压器架构的大型语言模型(LLMs)的发展及其在自然语言处理中的应用,特别是GPT和BERT在教育、技术和金融等领域的潜力。尽管LLMs在多个领域表现出色,但在健身和城市规划等领域的应用仍需深入研究。论文还分析了LLMs在数学和科学领域面临的挑战与机遇。
该研究提出了图卷积注意力层(CAT)和自适应图卷积网络(AGC-net)等多种图神经网络架构,以提高图结构数据处理的效率和准确性。实验结果表明,这些新模型在多个数据集上优于现有方法,有效解决了图分类和节点特征学习中的关键挑战。
神经网络架构、随机初始化权重、神经网络高斯过程核、再生核希尔伯特空间、逼近误差是该研究论文的关键词,论文提出了一种在无限宽度限制下具有随机初始化权重的神经网络架构,它等价于一个具有高斯随机场协方差函数的神经网络高斯过程核,同时证明了该神经网络架构可以逼近由该核定义的再生核希尔伯特空间中的函数。实验结果验证了该理论发现的可行性。
本文介绍了傅里叶神经映射(FNM)框架,利用算子学习方法高效近似参数化物理模型,特别是在非线性参数与可观测量之间的映射。研究了离群分布的泛化问题,并提出了信息论泛化边界的通用框架,同时在部分可观测马尔可夫决策过程中提供了新的启发式方法。
本文探讨了多臂赌博机问题的样本复杂性,提出了新算法和复杂度度量,研究了不同情况下的遗憾最小化策略,并展示了算法在信息检索和在线学习中的优越性。
Adapprox 是一种使用随机低秩矩阵近似来更有效准确地近似 Adam 的二次矩的新方法,在 GPT-2 训练和下游任务中,Adapprox 相比 AdamW 能够实现 34.5%到 49.9%和 33.8%到 49.9%的内存节省,并且它通过提高收敛速度和改进下游任务性能相对于其他方法。
本文综述线性双时间尺度随机逼近的有限时间分析,涵盖马尔可夫与鞅噪声下的收敛速率、SARSA及TD学习等算法的样本复杂度、异步与分布式优化,以及非独立同分布数据下的误差界。
该文综述神经网络逼近偏微分方程的研究,涵盖:延迟目标法解决物理启发网络偏差;PINN与算子学习的严格误差界;网络性能极限与表达能力上界;量子神经网络以O(ε⁻²)权重达精度ε;蒙特卡洛方法高效逼近Poisson方程;证明深度趋于无穷才能超越熵数速率。
该文综述贝叶斯网络中最可信赖实例化与MAP推理的计算复杂性及近似方法,涵盖NP完全性、置信传播、模拟退火、变分框架、概率逻辑编程和神经网络推理,并探讨其在图像模型、模型预测控制及行为经济学中的应用。
本文综述了多种联邦学习优化算法:SCAFFOLD通过控制变量缓解非独立同分布数据的收敛问题;FedSARSA实现联邦强化学习;Quantised Langevin算法结合梯度压缩加速收敛;FedLin应对异质性并保证线性收敛;FedSpeed解决本地偏差;FedMSA节省通信轮次;FedLALR实现线性加速。
该文综述张量分解与张量网络方法:利用分层Tucker分解压缩地震数据和循环神经网络,结合凸松弛与随机化技术实现可扩展优化,应用于高维张量补全、Tucker分解秩自动估计及低秩张量逆问题;借助张量列车、分层Tucker等模型支持分布式计算,在效率与精度上优于传统方法。
完成下面两步后,将自动完成登录并继续当前操作。