小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本文探讨深度学习理论中网络输出的分析方法,将随机初始化的多层感知机视为输入的哈密顿量,揭示了能量景观的性质,特别是无限宽度下近全局最小值的结构,并分析了不同激活函数对能量景观的影响。

Deep Networks as Hamiltonians

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-31T00:00:00Z

本文提出了一种基于代数的机器学习新基础,通过将任务目标和数据编码为代数公理,实现模型的泛化。实验结果表明,该方法在标准数据集上的性能与优化后的多层感知机相当,并可扩展至形式问题的求解。

Algebraic Machine Learning: Viewing Learning as the Algebraic Decomposition of a Task

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-02-27T00:00:00Z

本研究探讨了离线强化学习中的目标条件监督学习,提出了递归跳跃规划(RSP)方法,验证了浅层多层感知机在长期轨迹动态捕捉中的有效性,显著降低了序列建模误差。

Is an Expressive Model Really Necessary in Offline Reinforcement Learning?

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-15T00:00:00Z

本研究提出了一种通过单次前向传播提升贝叶斯深度学习预测效率的方法,利用激活函数的局部线性化和线性层的高斯近似,成功应用于多层感知机和变压器模型的回归与分类任务。

Simplifying the Prediction Process in Bayesian Deep Learning

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-27T00:00:00Z

本研究提出了一种新方法,将基于注意力的多变量时间序列预测模型简化为多层感知机(MLP),通过前馈、跳跃连接和层归一化操作实现。结果显示,该方法显著降低了计算量,同时保持了可接受的性能,展示了其高效性和可行性。

Approximate Attention with MLP: A Pruning Strategy for Attention-Based Multivariate Time Series Forecasting Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-31T00:00:00Z

科尔莫戈洛夫-阿诺德网络(KANs)作为多层感知机(MLPs)的替代方案,展现出更高的准确性和可解释性。研究表明,KAN在图像识别和时间序列数据处理上表现优异,尤其在鲁棒性方面具有潜力。与传统模型相比,KAN在参数效率和性能上均有显著提升,为深度学习模型的优化提供了新思路。

探索Kolmogorov-Arnold网络在现实图像锐度评估中的应用

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-09-12T00:00:00Z

本文提出了一种名为BlockPruner的无训练结构化修剪方法,能够有效识别和去除冗余的多头注意力和多层感知机块。研究表明,在移除多层之前,模型性能仅轻微下降,剪枝显著降低了内存和计算成本。通过对Transformer模块的冗余性分析,发现可以安全剪枝大量Attention层,从而提升性能。最终,该方法在多个数据集上表现优于现有技术。

深入探究语言模型的深度修剪

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-07-23T00:00:00Z

该研究提出了一种混合量子-经典视觉转换器架构,通过集成变分量子电路、注意机制和多层感知机来解决分析高亮度大型强子对撞机数据的挑战。成功训练了量子模型,并实现了与完全经典架构几乎相媲美的分类性能。

量子视觉变压器用于夸克胶子分类

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-05-16T00:00:00Z

通过傅里叶特征映射,多层感知机(MLP)能够学习低维问题领域中的高频函数,提高了MLP在低维回归任务中的性能。研究结果对计算机视觉和图形学领域的最新进展提供了启示。

多尺度低频记忆网络用于改进卷积神经网络中的特征提取

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-03-13T00:00:00Z

本文研究了线性模型在时间序列预测中的能力,并提出了基于多层感知机的模型TSMixer。TSMixer在学术基准测试和真实世界的M5基准测试中表现出良好性能,强调了利用交叉变量和辅助信息提高时间序列预测性能的重要性。预计TSMixer的设计将为基于深度学习的时间序列预测带来新的视野。

Mixer 不仅仅是一个模型

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-02-28T00:00:00Z

本文提出了一种基于MLP网络的嵌入式特征选择方法,可用于组特征或传感器选择问题。该方法可控制冗余级别,并通过组套索惩罚推广为特征选择机制。实验结果表明,该方法在特征选择和组特征选择方面具有良好性能。

使用神经网络进行受控冗余的群组特征(传感器)选择

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-31T00:00:00Z

本文介绍了一种带有线性激活函数和批归一化的多层感知机模型,证明了其正向信号传播特性的精确表征。同时,提出了一种激活函数塑形方案,能够在某些非线性激活函数下实现类似的特性。在线性独立的输入样本情况下,该模型能够渐近地保持梯度有界的特性。

趋向无深度限制的训练:无梯度爆炸的批归一化

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-03T00:00:00Z

本文介绍了一种基于多层感知机的图神经网络模型(Graph-MLP),利用图结构的监督信号,无需信息传递模块,使用邻域对比损失(NContrast)进行分类任务。研究表明,该模型即使在没有邻接信息的情况下也能达到最先进模型相媲美的性能。

合作图神经网络

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-10-02T00:00:00Z

本文提出了一个简单的多模式时空数据建模框架,通过设计一个跨模式空间关系学习组件来自适应地建立多个模式之间的连接,并使用多层感知机来捕捉时态依赖和通道相关性。实验证明该模型在三个真实数据集上始终优于基准模型,具有更低的空间和时间复杂度,为时空数据建模开辟了一种有前景的方向,同时也验证了跨模式空间关系学习模块的一般化能力。

多模空时数据建模的简明框架

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2023-08-22T00:00:00Z
软件工程师的Transformer

自2017年提出的Transformer模型架构在深度学习领域迅速崛起,广泛应用于文本、音频和视频等多个领域。本文介绍了Transformer的基本结构和工作原理,重点讨论了模型的可解释性,详细阐述了模型的层次结构、注意力机制和多层感知机(MLP)层的实现,以帮助软件工程师理解Transformer的内部运作。

软件工程师的Transformer

Posts on Made of Bugs
Posts on Made of Bugs · 2022-04-01T20:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码