小红花·文摘

开发者的25+个AI技术资源 - 2025年1月27日

DEV Community ·

神经网络模型性能高但难以解释。文章提出电路探测技术，通过分析中间变量的低层电路，实现参数切割和因果分析。在简单算术任务中，该方法有效解密模型算法，揭示内部结构，追踪电路发展。应用于GPT2模型，发现负责主谓一致和反身指代的电路。

大语言模型中的电路假设检验

BriefGPT - AI 论文速递 ·

神经网络模型性能高但难以解释。本文提出电路探测技术，通过发现中间变量的低层电路，实现参数切割和因果分析。在简单算术任务中，该方法有效解密模型算法，揭示内部结构，追踪训练过程。应用于GPT2模型，发现负责主谓一致和反身指代的电路。

电路组合：探索基于变压器的语言模型中的模块化结构

BriefGPT - AI 论文速递 ·

最近，一个名为“gpt2-chatbot”的神秘AI模型在大模型竞技场上引起了广泛关注。它展现出了惊人的能力，可能超越了备受瞩目的GPT-4模型。有人认为它可能是OpenAI的GPT-2模型的版本，也有人认为它可能是GPT系列的下一个版本。无论如何，它的出现预示着AI技术的飞跃。

【AI新突破】GPT2模型现身，实力或超越GPT4，奥特曼确认，引发热议！

dotNET跨平台 ·

该研究比较了三种方法，发现自回归的单向语言模型（如GPT2）在生成流畅度方面表现更好，但难以遵循所请求的事实。研究提出了基于计划和填空模型的解决方案，该解决方案在生成流畅度和内容准确性方面都有竞争力。

断时而止：文本生成中的语义漂移研究

BriefGPT - AI 论文速递 ·

通过计算 GPT2 模型中神经元激活的成对相关性，研究了不同随机种子下神经元的普遍性，并发现 1-5% 的神经元是普遍的。对这些普遍神经元进行了详细研究，发现它们通常具有清晰的解释，并将其归类到几个神经元家族中。通过研究神经元权重的模式，确定了神经元在简单电路中的几个普遍功能角色。

GPT2 语言模型中的通用神经元

BriefGPT - AI 论文速递 ·

本文介绍了在SQL中实现大型语言模型的方法，包括生成式大型语言模型的技术原理和GPT2的实现过程。作者详细讲解了分词器和字典的构建，以及使用递归CTE将文本分割为标记并生成编码后的表示的方法。同时介绍了GPT2中的生成文本过程和生成算法。

狠人用500行SQL实现GPT大模型

极道 ·

该文介绍了一种基于Transformer的文本到视频模型，使用U-Net从噪音版本重构图像，并使用GPT2在UCF101数据集上进行测试，展示其能够生成有希望的视频。

通过 Transformer 实现的简单文本到视频模型

BriefGPT - AI 论文速递 ·

该研究评估了三种基于自然语言的控制生成任务方法，发现自回归的单向语言模型如GPT2生成流畅度更好，但难以遵循所请求的事实。研究提出了基于计划和填空模型的解决方案，使用精细调整的XLNet生成流畅度有竞争力，同时遵循所请求的内容。

MindSpore是一个全场景深度学习框架，支持第三方前端，提供ModelZoo、Extend、Science、Expression、Data、Compiler、Runtime、Insight、Armour等功能，期待更多开发者参与。网络迁移指的是把参考源码中所使用的框架API替换为MindSpore中的API，可以参考MindNLP中的Bert模型迁移代码，但需要注意hugging face自封装的类别和函数以及API参数的差异。