小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

本研究探讨了深度正则化的ResNet和Transformer中的神经崩溃现象,发现经过训练的全局最优解接近崩溃状态,且随着网络深度增加,这种近似更加紧密。这一发现为深度模型的应用提供了理论支持,并在计算机视觉和语言数据集上进行了验证。

Neural Collapse is Globally Optimal in Deep Regularized ResNets and Transformers

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-05-21T00:00:00Z

本研究探讨了宪法AI在小型模型(如LLaMA 3-8B)中的应用,发现其能有效提升模型的无害性,但有用性有所下降。同时,小型模型在自我改进方面面临挑战,出现崩溃迹象。

Constitution or Collapse? Exploring Constitutional AI and LLaMA 3-8B

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-04-07T00:00:00Z

本研究提出了一个权重印记框架,包括生成、归一化和聚合三个部分,首次揭示神经崩溃现象与新数据表示的多重代理之间的关系,性能提升可达4%。

Robust Weight Imprinting: Insights from Neural Collapse and Proxy-Based Aggregation

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2025-03-18T00:00:00Z

本研究提出了一种名为TLC的方法,通过批归一化层压缩深度神经网络,解决了过度参数化导致的计算资源消耗问题,并在多种模型和任务中验证了显著的性能提升。

Till the Layers Collapse: Compressing Deep Neural Networks through Batch Normalization Layers

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-19T00:00:00Z

本研究探讨了语言模型在递归生成文本时崩溃的原因,提供了理论证明,并指出训练模型的表现逐渐下降,影响自然语言处理任务。

Why Do Language Models Collapse During Recursive Text Generation Training?

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-12-19T00:00:00Z

本研究探讨了语言模型生成中的幻觉和模式崩溃问题,发现保持生成的一致性和广度在大多数情况下难以实现,但负示例可以改善这一情况。

The Limitations of Language Generation: Balancing Hallucination and Mode Collapse

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-14T00:00:00Z

本研究针对解码器 Transformers 在复杂推理任务中的表现问题,提出了顺序方差-协方差正则化(Seq-VCR),显著提升了算术推理性能,$5 imes 5$ 整数相乘任务的准确率达到了 $99.5\\%$。

Seq-VCR: Preventing Intermediate Transformer Representation Collapse to Enhance Reasoning Ability

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-04T00:00:00Z

本研究提出了一种新方法SimVQ,旨在解决向量量化模型中潜在空间表示崩溃的问题,并优化线性空间。实验结果表明,该方法在多种模态下表现优异。

Solving Representation Collapse in Vector Quantization Models with a Linear Layer

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-11-04T00:00:00Z

本文探讨了文本嵌入在长文本中的性能下降,提出了“长度崩溃”现象。通过引入softmax()的温度参数,提出了调节方法TempScale,显著提升了长文本嵌入模型的性能。

Length-Induced Embedding Collapse in Transformer Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-31T00:00:00Z

本研究探讨了模型崩溃问题,比较了丢弃工作流与增强工作流。结果显示,丢弃工作流导致模型退化,而增强工作流有效避免了这一问题。对于经典线性回归,增强工作流的风险边界为目标风险的$π^2/6$倍,揭示了不同工作流下模型表现的差异。

Universality of the $π^2/6$ Pathway in Avoiding Model Collapse

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-30T00:00:00Z

研究分析大型语言模型在情感和伦理任务中的局限性,强调关注个体标注者而非简单数据聚合。发现少数标注者的观点更易与模型对齐并被放大,具有重要启示。

Aggregation Artifacts in Subjective Tasks Lead to the Collapse of Posterior Distributions in Large Language Models

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-17T00:00:00Z

本研究探讨了非局部模型合并的挑战,指出传统合并技术在处理预训练专家模型时的局限性。提出了一种多任务技术,通过调整合并模型的输出,显著提升了合并性能,为未来研究奠定基础。

The Non-Local Model Merging Problem: Permutation Symmetries and Variance Collapse

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-16T00:00:00Z

Shumailov等人(2024)的研究表明,反复在合成数据上训练生成模型会导致模型崩溃。通过核密度估计法进行数据分布拟合和多次抽样,研究提供了对这一现象的理论理解,指出模型崩溃是不可避免的统计现象。

A Note on Shumailov et al. (2024): AI Models Collapse When Trained on Recursively Generated Data

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-16T00:00:00Z

本研究解决了变换器中信号传播和梯度消失/爆炸的问题,分析了softmax注意力机制初始状态下的传播问题。通过随机矩阵方法,提出消除谱间隙的方法解决宽度上的秩崩溃,并通过实验验证其有效性。

Spectral Analysis of Rank Collapse and Signal Propagation in Attention Layers

BriefGPT - AI 论文速递
BriefGPT - AI 论文速递 · 2024-10-10T00:00:00Z
Why Did the Qing Dynasty Collapse: A Book Sharing

这篇文章讲述了晚清时期汉族大臣、秘密社团和革命家在清朝灭亡过程中的角色。汉族大臣推动了晚清的改革和现代化,秘密社团在孙中山的起义中发挥了作用,革命家们打破了循环。文章提到了谭嗣同、刘道一和秋瑾等革命家的事迹。

Why Did the Qing Dynasty Collapse: A Book Sharing

Raye's Journey
Raye's Journey · 2024-08-03T08:26:43Z

AI creating AI! Is it the end of the world? Or just another tool to make models do value-adding work? Let’s find out!

When AI Makes AI: Synthetic Data, Model Distillation, And Model Collapse

Jina AI
Jina AI · 2024-05-07T14:00:26Z

本文介绍了使用Blazor和SQLite进行.NET 8操作的教程,包括Blazor简介和快速入门、BootstrapBlazor介绍和Collapse折叠面板组件引入。文章提供了Blazor的基本用法和SQLite的特点,以及如何使用BootstrapBlazor和Collapse组件。

七天.NET 8操作SQLite入门到实战 - (1)第七天BootstrapBlazor UI组件库引入

dotNET跨平台
dotNET跨平台 · 2024-01-10T04:05:38Z

这个修改内容,已经有人发过了,我也不想再重新写一遍,直接引用别人的了。 **我就提一个点。** 修改collapse-item的title样式...

修改vant-weapp中collapse的默认样式

Cirry's Blog
Cirry's Blog · 2022-11-28T16:42:44Z
修改vant-weapp中collapse的默认样式

文章讨论了如何修改collapse-item的标题样式,需在相应组件的js文件中将options中的styleIsolation设置为'shared'。

修改vant-weapp中collapse的默认样式

Cirry's Blog
Cirry's Blog · 2022-11-28T16:42:44Z

@Reference: Github-Mxgmn |...

Wave Function Collapse

aikenh
aikenh · 2022-07-10T01:42:50Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码