标签

 编码器 

相关的文章:

这是一个关于编码器的文章列表页,包括了基于Transformer和自编码器的视觉刺激生成、机器图像编码优化、自监督人脸换脸等内容。通过阅读这些文章,您可以了解到编码器在深度学习中的应用和优化方法。

BriefGPT - AI 论文速递 -

OWSM-CTC:一种用于语音识别、翻译和语种识别的开放式编码器语音基础模型

基于连接主义时间分类(CTC)的新型仅编码器语音模型(OWSM-CTC)在多语言自动语音识别(ASR),语音翻译(ST)和语言识别(LID)任务上取得了有竞争力的结果,并在 ST 上提高了 25%的相对改进,在推断中更为稳健且速度更快,同时也对长形式 ASR 结果有 20 倍的加速。

基于连接主义时间分类(CTC)的新型仅编码器语音模型(OWSM-CTC)在多语言自动语音识别(ASR),语音翻译(ST)和语言识别(LID)任务上取得了有竞争力的结果,并在ST上提高了25%的相对改进。该模型在推断中更为稳健且速度更快,同时也对长形式ASR结果有20倍的加速。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

一种结合变分自编码器和 Transformer 的新型分子生成模型

这项研究提出了通过结构和参数优化将 Transformer 和 VAE 两种模型相结合的方法,以处理多样化的分子。该模型在生成分子方面表现出与现有模型相当的性能,并且在生成未见结构的分子方面表现出远超卓越的性能。此研究通过 VAE 的潜在表示成功预测了分子性质。消融研究表明 VAE 在生成新型分子方面具有优势,分子可以用比现有描述符和模型小得多的~32 个维度变量进行描述。该研究有望提供一个包含各种化合物的虚拟化学库,以进行虚拟筛选并实现高效筛选。

该研究结合了Transformer和VAE模型,用于处理多样化的分子。该模型在生成分子方面表现出与现有模型相当的性能,并且在生成未见结构的分子方面表现出卓越的性能。研究通过VAE的潜在表示成功预测了分子性质。消融研究表明VAE在生成新型分子方面具有优势,分子可以用较小的维度变量进行描述。该研究有望提供一个包含各种化合物的虚拟化学库,以进行虚拟筛选和高效筛选。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

基于 Transformer 编码器和生成对抗网络从脑电图记录中生成视觉刺激

使用对抗性深度学习框架,利用脑电图信号合成图像是这项研究的主要目标之一,通过 Transformer - 编码器生成脑电图编码作为生成器组件的输入,同时结合感知损失以提高生成图像的质量。

我们提出了一种自监督框架,从脑电信号中学习图像表征,并在最广泛的脑电图像数据集上取得了最先进的结果。通过对配对图像刺激和脑电反应进行特征提取,然后使用对比学习来对齐这两种模态。在200种零样本任务中,我们达到了15.6%的top-1准确率和42.8%的top-5准确率。对脑电信号的时间、空间、频谱和语义方面的广泛实验表明了良好的生物合理性,这些结果对神经解码和脑-计算机界面的现实应用提供了有价值的见解。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

通过辅助损失优化编码器提高机器图像编码

通过辅助损失训练编码器以提升其识别能力和速率失真性能的一种新型学习图像编码方法,相较于传统训练方法,在物体检测和语义分割任务中分别实现了 27.7% 和 20.3% 的 Bjontegaard Delta 速率改进。

本研究提出了一种基于对抗训练的图像编码技术,提高视觉质量,保持机器分析准确性,无需增加比特率或参数。实验证明,该技术消除棋盘格伪影,提高像素和特征保真度分数。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

自鉴换脸:基于形状不可知掩蔽自编码器的自监督人脸换脸

通过引入自重建训练方案,使用 Shape Agnostic Masked AutoEncoder(SAMAE)来解决传统方法的局限性,包括模型训练不稳定性、目标身份泄露问题和形状错位问题,以实现在保留身份和非身份属性的同时,超越其他基准方法的全新最新技术。

本文介绍了一种从同步多视角视频中进行自监督学习的方法,通过交叉视角重构任务向模型注入几何信息。该方法在多个数据集上取得了最先进的结果,并证明了其鲁棒性。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

通过对齐和均匀性重新思考图形遮罩自编码器

通过在理论上构建 GraphMAE 和 GCL 之间的桥梁,我们证明了 GraphMAE 中的节点级重构目标隐含地执行上下文级 GCL,并指出了 GraphMAE 在对齐性和一致性方面的局限性。为了解决这些限制,我们提出了一种增强的对齐一致性图掩码自编码器 AUG-MAE,并通过实验证明了该模型优于现有最先进方法。

近来,图聚类算法中的自编码器结构因其高效性能和低训练成本而受到关注。为解决现有算法的泛化能力和群集数目确定问题,提出了一个新框架GCMA,利用基于图遮蔽方法的融合自编码器进行图的融合编码,并引入改进的基于密度的聚类算法作为第二个解码器。实验证明GCMA相对于基准算法具有优越性。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

TEE4EHR:电子健康记录中更好的表示学习的 Transformer 事件编码器

TEE4EHR 是一个具有点过程损失的 Transformer 事件编码器模型,用于分析电子健康记录中实验室检验模式,通过在各种基准的事件序列数据集上验证其实用性,并在两个真实的电子健康记录数据库上进行实验证明了其能够改善电子健康记录中的表示学习并在临床预测任务中提供帮助。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

基于混合簇条件专家的任务定制化遮蔽自编码器

提出了一种新的基于混合的聚类条件专家(MoCE)的 MAE 预训练范式,为不同的下游任务提供定制化的预训练模型,通过使用聚类条件门将每个专家仅与语义相关的图像进行训练,从而克服了 MAE 可扩展性中的负迁移问题。

本文介绍了一种基于课程学习的掩模自编码器(CL-MAE),通过增加自监督重建任务的复杂性,提高模型学习更复杂和可转移的表示能力。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

结构化数据的自动编码器压缩:非线性和深度的可证明优势

对于 1 位稀疏高斯数据压缩的典型情况,我们证明梯度下降收敛到一个完全忽略输入稀疏结构的解,且相对于高斯源完全没有稀疏性能。对于一般数据分布,我们提供了关于梯度下降最小化器形状的相变现象的证据,关键是数据的稀疏度:在关键稀疏性水平以下,最小化器是均匀随机选择的旋转(就像在非稀疏数据的压缩中一样);在关键稀疏度以上,最小化器是恒等变换(经过排列)。最后,通过利用与近似传递算法的联系,我们展示了如何改进稀疏数据的高斯性能:对浅层架构添加去噪函数已经可以显式地减少损失,而适当的多层解码器则可以进一步改善。我们在图像数据集(如 CIFAR-10 和 MNIST)上验证了我们的发现。

本文研究了稀疏高斯数据压缩的梯度下降算法。研究发现,在关键稀疏性水平以下,最小化器是均匀随机选择的旋转;在关键稀疏度以上,最小化器是恒等变换。通过添加去噪函数和多层解码器,可以改善稀疏数据的高斯性能。实验证实了这些发现。

相关推荐 去reddit讨论

BriefGPT - AI 论文速递 -

变分自编码器用于异常检测的统计检验

利用统计检验方法提出了 Variational Autoencoder(VAE)在异常检测中的可靠性评估方法,该方法能够量化通过 VAE 检测到的异常区域的统计可靠性,并且可以控制误检的概率。

提出了一种新的无监督异常检测方法FCVAE,通过集成全局和局部频率特征,提高了正常数据的重构准确性,解决了基于VAE的方法在捕捉长周期异质模式和详细短周期趋势方面的挑战。通过“目标注意力”机制,选择最有用的信息构建短周期趋势。在公开数据集和大规模云系统上评估,结果优于最先进的方法,验证了在解决当前基于VAE的异常检测模型的局限性方面的实际适用性。

相关推荐 去reddit讨论

热榜 Top10

...
Dify.AI
...
ShowMeBug
...
eolink
...
白鲸技术栈
...
观测云
...
LigaAI
...
天勤数据

推荐或自荐