表征学习在生物化学与分子工程中愈发重要,尤其在肽的结构与功能建模方面。香港中文大学提出的Bi-TEAM框架通过整合生物与化学信息,提高了肽设计的准确性和成功率,特别是在细胞穿透性环肽的设计中表现优异,为药物研发提供了新技术路径。
本研究探讨了小鼠视觉皮层的神经表征及其与深度学习模型的对齐,提出了一种通用的表征学习策略,显著提升了模型在实际任务中的鲁棒性,为基于小鼠视觉的AI模型发展提供了新框架。
本研究提出了一种统一的信息论方程,概括了表征学习中多种损失函数的多样性。研究发现多种机器学习方法能够最小化KL散度积分,支持聚类、谱方法和对比学习,并开发了新损失函数,使ImageNet-1K的无监督分类性能提升超过8%。
本研究提出CAFe框架,首次在大型视觉语言模型中同时提升表征学习与生成能力,推动多模态检索与生成基准的发展。
本研究提出了Sorcen框架,旨在解决表征学习与生成建模的统一问题。通过引入新型协同对比重建目标“回声对比”,消除了对额外图像裁剪的需求。实验结果表明,Sorcen在多个指标上超越了以往方法,效率提升达60.8%。
本研究提出一种新架构,结合跨模态三重损失和逐步自我蒸馏,解决音视频嵌入学习中的标签依赖问题,提升表征学习性能。
视频语言表征学习关注视频与文本描述的关系,HBI V2通过博弈论解决细粒度对齐问题,结合单模态和跨模态表征,提升了视频语言学习的效果。HBI V2在多项任务中表现出色,展现了其灵活性和有效性。
本研究提出了一种名为SimSiam+VAE的统一方法,结合变分自编码器(VAE)与SimSiam网络,显著提升了表征学习效果,实验结果优于SimSiam和VI-SimSiam,促进了智能体间的理解与语言发展。
本文介绍了SPA,一种强调3D空间意识的表征学习框架。通过多视角图像的神经渲染,提升视觉变换器的空间理解能力。研究显示,SPA在多个任务中优于10种先进方法,展现了实际应用潜力。
本研究提出了动态提示和表征学习(DPaRL)方法,用于增强开放世界中的持续学习。通过生成动态提示,DPaRL在开放世界图像检索基准上实现了4.7%的提升。
本文介绍了对比特征选择(CFS)方法,通过信息论分析,证明了该方法在对比分析环境中的表征学习,并在数据集上优于其他方法。
研究人员开发了一组神经科学启发的自监督目标和神经架构,用于从无标记神经记录中进行表征学习。实验证明这些目标学习到的表征能够普遍适用于不同的被试者、数据集和任务,并比仅使用有标记数据时更快地学习。此外,为两个基础性语音解码任务设置了新的基准,这些方法现在可以利用更多的现有数据来训练语音解码模型。
本论文介绍了一种新的实例辨识方法和适应的损失函数LeOCLR,以保证正样本之间的共享区域在语义上是正确的。实验证明该方法在不同数据集上始终比基线模型改进了表征学习。
本文探讨了自编码器在表征学习中的研究进展和机制,分析了信息分离和分层组织特征的三种机制,讨论了隐式和显式监督的重要性,通过失真率理论分析了自编码器表征学习的优缺点和任务需求。
该文介绍了一种名为RAILD的预测方法,能够学习未见实体和关系的表征,实验表明RAILD在知识图谱任务上性能显著提高。
本文介绍了深度学习研究中摒弃平衡数据假设的策略,采用表征学习等方法逼近现实世界中的数据不平衡问题。同时,文章指出在 SEP 预测中解决数据不平衡问题对成功至关重要。
本文提出了一种基于混淆平衡表征学习的非线性 CIV 回归,CBRL.CIV,以消除混淆偏差并平衡观察到的混淆因素。实验证明了 CBRL.CIV 在处理非线性情况方面的优越性。
本研究提出了一种新的速度协同增强方法,通过随机改变音视频数据的播放速度,增加了音视频配对的多样性,使负配对数量翻倍,从而显著增强了学习到的表征。同时,该方法改变了音视频配对之间的严格相关性,引入了增强配对之间的部分关系,由提出的SoftInfoNCE损失来建模,进一步提升了性能。实验结果表明,该方法显著改善了学习到的表征。
该论文提出了一种动态线性偏差融合方案,用于高维且不完整数据的表征学习。该方案通过建立二进制权重矩阵来动态切换线性偏差的状态,实现了非负潜在因子分析模型的动态线性偏差。实证研究表明,该方案的模型在三个真实应用领域的高维且不完整数据集上获得了较高的表征准确度,并具有高竞争力的计算效率。
表征学习是深度学习中的概念,通过预训练特征提取器将原始数据转换为低维特征,降低对数据和计算能力的需求。常见的特征提取方法包括视觉、光流、音频和文本。Masked Autoencoder (MAE)是一种前沿的表征学习模型,通过遮盖输入图像的随机块进行重建,可以高效地训练大型模型。MAE还可以扩展到视频领域。使用预训练模型可以在自己的任务上获得更好的效果。
完成下面两步后,将自动完成登录并继续当前操作。