小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI

本研究提出Fisher合并方法,以提高模型合并的效率和性能。通过对不同数据集模型的加权平均,探讨了模型合并的潜力与挑战,并提出新的正则化方法以提升合并效果。研究结果表明,强大的基础模型和较大模型显著改善合并性能,为未来研究提供重要参考。

重新思考权重平均模型合并

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-11-14T00:00:00Z

本研究探讨了语言模型在路径星任务中的表现不足,提出了一种新正则化方法,通过相同图的结构样本改善模型表现,证明该任务是可学习的,并为编码器模型提供了解决方案。

语言模型的病理路径星任务之谜

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-17T00:00:00Z

本文提出了一种新的半定松弛方法,以提高ReLU网络的鲁棒性,效率是现有方法的三倍。研究探讨了对抗训练的极限,并提出了新的正则化方法和防御规则项,显著提升了模型在CIFAR-10和MNIST数据集上的鲁棒性和准确性。通过大量实验验证了这些方法的有效性。

利用认证训练提升经验鲁棒性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-10-02T00:00:00Z

本文探讨了语言模型中的情感偏见,分析了敏感属性对生成文本情感的影响。研究发现,现有模型在新闻和维基百科语料库中存在显著偏见。提出了正则化方法以提高公正性,同时保持模型性能,并介绍了新的偏差测量数据集和评估框架,以更好地识别和减少语言模型中的社会偏见。

SAGED:一个全面的语言模型偏见基准测试管道,具有可定制的公平性校准

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-09-17T00:00:00Z

本文提出了一种深度神经网络模型,解决音频与图像情感对应问题。研究开发了“感觉变分自编码器”(SynVAE)和“Video2Music”框架,能够生成与视频情感匹配的音乐。实验表明生成音乐的质量和匹配度较高。此外,研究探讨了音乐生成与情感表达的关系,提出了基于音乐元素的正则化方法(MusER),并设计了客观的音乐美感测量模型。

连接绘画与音乐——通过绘画探索基于情感的音乐生成

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-09-12T00:00:00Z

本文研究了神经机器翻译(NMT)中不同层次的向量表示,发现高层次语义学习更有效,而低层次词性标注效果更佳。探讨了多语言翻译性能,提出基于Kullback-Leibler散度的正则化方法,构建了通用NMT系统,实现103种语言的翻译,提升了低资源语言的翻译质量。此外,研究还提出了动态位置编码方法,显著提高了翻译性能。

多语言神经机器翻译模型中位置嵌入的可互换性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-08-21T00:00:00Z

本文研究高维机器学习中的广义线性模型,探讨贝叶斯最优估计、模型性能评估及过拟合问题。提出新正则化方法Fishr,以提升模型的鲁棒性和泛化能力。研究表明,领域泛化算法在标签噪声下表现良好,但在真实数据集上未必优于经验风险最小化算法。

风险的别名和无标签分解:超越偏差-方差权衡

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-08-15T00:00:00Z

本文提出了一种新的对比学习方法,通过结合开放集样本与闭集样本,提高模型在标签噪声下的准确性和鲁棒性。研究还介绍了正则化方法和新的迭代学习框架,以解决嘈杂标签问题,实验结果表明该方法在开放集和闭集分类中表现优异。

释放开放集嘈杂样本潜力:针对医学图像分类的标签噪声

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-18T00:00:00Z

本文介绍了隐藏流形模型及其在神经网络训练中的应用,探讨了流形假设对图像数据低维结构的影响,并提出了基于流形学习的算法以提高分类和生成建模性能。同时,研究分析了深度神经网络中的过拟合问题及其正则化方法,强调了流形假设在模型训练中的重要性。

神经网络在流形假设下学习的困难性

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-06-03T00:00:00Z

本文介绍了改进学习算法LearningLoss++,通过精确分析梯度和结合多尺度特征,提升人体姿势估计性能。同时,研究了对抗训练算法的泛化性能,提出了正则化方法DLoss和优化非可微损失函数的新方法,探索了对抗训练数据增强的影响,并提出了基于松弛损失的训练框架RelaxLoss,以增强模型的鲁棒性。

Lai Loss:一种融合正则化的新型损失函数

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-05-13T00:00:00Z

本文探讨了神经网络中的损失可塑性问题及神经坍塌现象。研究表明,层归一化和权重衰减技术能够有效维持网络的可塑性,提升学习算法的稳健性。同时,神经坍塌现象会影响模型的泛化能力和优化能力,提出的正则化方法可以缓解可塑性丧失。

我们是否可以通过神经崩溃来理解可塑性?

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-04-03T00:00:00Z

本文评估了神经网络的概率校准,比较了多种校准方法。研究发现,正则化方法在概率校准和锐度之间提供了良好平衡,而修正方法则表现出更优的校准性能。分位数校准作为一种修正方法,具有有限样本覆盖的优势。此外,提出了后处理校准方法和新的评估指标,以提升模型在不同任务中的校准效果。

神经网络回归的设计概率校准

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-03-18T00:00:00Z

本文介绍了一种新颖的提示调整算法,旨在提高开放领域对话生成的效果。该算法在性能上优于传统方法,并显著减少了参数需求。同时,研究提出了基于扰动的正则化方法,以稳定训练并提升准确性,实验结果在多个基准测试中超越现有技术。此外,多任务提示调整方法在自然语言处理任务中表现出色,展现了强大的泛化能力。

用于平衡组分布稳健性的可控提示调整

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2024-03-05T00:00:00Z

该论文提出了一种正则化方法来训练健壮的 GAN 模型,提高泛化性能和稳定学习动态方面的有效性。实验证明该方法在有限的训练数据下表现更好。

泛洪正则化用于稳定训练生成对抗网络

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-11-01T00:00:00Z

该文介绍了一种可解释的深度学习模型,通过正则化方法提高网络的稳健泛化能力。研究表明,正则化方法可以强制网络忽略损坏数据,在未损坏数据集上达到 100% 的准确性。此外,该模型还可以通过逐渐抹除记忆表示来降低过拟合风险。

超越神经网络的理解:模型复杂性的实证探索

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-26T00:00:00Z

本文提出了一种使用正则化方法处理 Variational Recurrent Autoencoder 中 latent variables 过于随意造成的语言模型崩溃问题,能够学到可解释的 latent variables 并生成多样化和有意义的句子。该方法优于多个强力 baseline,且不需要使用其他 KL 退火策略。

RegaVAE:一种用于语言建模的检索增强高斯混合变分自编码器

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-16T00:00:00Z
深度知识基础学习(一)

本文介绍了计算机视觉方向的几种神经网络模型,包括LeNet、AlexNet、VGGNet、NiN、GoogLeNet、ResNet和DenseNet。这些模型都采用了卷积层和汇聚层来提取空间结构特征,并通过全连接层对特征进行处理。它们在架构和设计理念上有所不同,但都在图像识别任务中取得了显著的成果。此外,文章还介绍了不同的正则化方式,如批量规范化、实例规范化、组规范化和层规范化。这些正则化方法可以提高模型的训练速度和泛化能力。

深度知识基础学习(一)

Sekyoro的博客小屋 Sekyoro的博客小屋 · 2023-08-02T03:59:56Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码