小红花·文摘
  • 首页
  • AI Tokens🪙
  • 排行榜🏆
  • 直播
  • FAQ
沉浸式翻译 immersive translate
Dify.AI
大模型训练是在挖“结构信息”,新尺子把信息论脸打肿了

该论文提出“结构信息”新概念,挑战传统信息论,认为AI训练中大量数据是随机噪声,真正有用的是可拆解重组的结构信息。研究发现,数据顺序影响模型学习能力,简单规则可涌现复杂行为,文本数据的结构信息含量高于图像。这为数据选择提供理论依据,强调追求可学习的新颖性,而非盲目追求低损失。

大模型训练是在挖“结构信息”,新尺子把信息论脸打肿了

极道 极道 · 2026-07-23T01:02:00Z

该研究提出了一种两阶段框架,解决科学论文摘要中结构信息不足的问题。通过自动识别标准化章节标题,并利用Longformer生成上下文感知摘要,实验结果表明该方法优于现有基线。

Enhancing Abstract Summaries of Scientific Papers Using Structural Information

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-05-20T00:00:00Z

本研究探讨了扩散自编码器在图像重建中的训练质量,提出了一种新的两阶段训练方法,首先提取结构信息,然后改善细节。实验结果表明,该方法能够生成高质量图像,准确恢复高层次结构和低层次细节。

Revisiting the Training Quality of Diffusion Autoencoders in Image Reconstruction

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-30T00:00:00Z

本研究提出了一种双向层次融合框架,以解决蛋白质表示学习中结构信息不足的问题。实验结果表明,该方法在多个蛋白质任务中显著优于现有技术,验证了连接序列与结构模态的有效性。

Bidirectional Hierarchical Multi-Modal Representation Learning for Proteins

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2025-04-07T00:00:00Z

图神经网络 (GNN) 在学习图数据的语义方面具有很强的能力。最近,一种名为 “预训练、提示” 的新范式在利用较少监督数据将 GNNs 适应各种任务方面取得了有希望的结果。我们提出了一种新颖的基于结构的 GNN 提示方法,即 SAP,它在预训练和提示调整阶段都一致地利用了结构信息。我们的实验证明了 SAP 的有效性。此外,SAP 可以在同质和异质图上的更具挑战性的小样本场景中实现更好的性能。

基于结构化语言知识的视觉 - 语言模型的层次化提示学习

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-12-11T00:00:00Z

图神经网络 (GNN) 在学习图数据的语义方面具有很强的能力。最近,一种名为 “预训练、提示” 的新范式在利用较少监督数据将 GNNs 适应各种任务方面取得了有希望的结果。我们提出了一种新颖的基于结构的 GNN 提示方法,即 SAP,它在预训练和提示调整阶段都一致地利用了结构信息。我们的实验证明了 SAP 的有效性。此外,SAP 可以在同质和异质图上的更具挑战性的小样本场景中实现更好的性能。

HGPROMPT: 少样本提示学习中的齐次和非齐次图之间的桥接

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-12-04T00:00:00Z

本文研究了图卷积神经网络的图压缩问题,通过优化梯度匹配损失和设计一种策略同时压缩节点特征和结构信息,将不同图数据集压缩成信息丰富的较小图并用于训练各种GNN体系结构。测试结果表明,在Reddit、Flickr和Citeseer上,压缩后的图的尺寸缩小了99.9%以上,同时准确率分别为95.3%、99.8%和99.0%。

图形蒸馏是否与视觉数据集相似?

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-10-13T00:00:00Z

本论文提出了一种新的底部向上体系结构,用于解决实例感知的人体部位解析的挑战任务。该框架利用结构信息降低人员分区的难度,并通过联合关联建模实现可微分的解决方案。该方法具有端到端的可训练性,并允许将分组误差传播到多层次的人类表征学习中。

CIParsing: 将因果属性统一到多个人的解析中

BriefGPT - AI 论文速递 BriefGPT - AI 论文速递 · 2023-08-23T00:00:00Z
AGI及其未来的规划

本文于2025年10月28日更新,包含过时的结构信息。请参考后续页面以获取最新信息。

AGI及其未来的规划

OpenAI OpenAI · 2023-02-24T08:00:00Z
  • <<
  • <
  • 1 (current)
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码