卡帕西以100美元成本和8000行代码手动构建了简易版ChatGPT，经过12小时训练后性能超越GPT-2。该项目名为nanochat，提供详细教程，旨在简化AI模型训练，促进教育。

本研究提出了一种新框架，通过结合文本和视觉模态，从视频数据集中生成自然语言描述。该框架利用ResNet50提取视频帧特征，并通过基于GPT-2的模型生成高质量、可解释的描述，具有重要的实际应用价值。

本研究比较了GPT-2和LLaMA-2在心智理论任务中的下一个令牌预测表现。结果表明，LLaMA-2在低温度设置下的预测准确性优于GPT-2，尤其在复杂推理任务中，两者表现差异显著。

本研究提出了ConceptFormer方法，旨在提高大型语言模型中知识图谱的使用效率。该方法通过将知识图谱信息编码为概念向量，显著提升了GPT-2模型的信息回忆能力，展现出广泛的应用潜力。

本研究提出了一种结合视觉变换器与GPT-2的多模态模型，旨在提高病理图像分析中的细微病变特征理解。通过微调专门数据集，该方法显著提升了疾病分类、分割和检测的准确性，展示了数字技术在医学图像分析中的应用潜力。

OpenAI宣布将启动新的开源项目，用户可选择开发小型模型或端侧模型。自2019年开源GPT-2以来，OpenAI未再开源新模型，引发广泛讨论。尽管奥特曼认为开源是错误，GPT-4.5和GPT-5在未来几周内可能仍不会开源。

picoGPT是一个简洁的GPT-2实现，旨在帮助学习者理解GPT的工作原理。它展示了文本生成的核心机制和模型推理过程，用户可以通过运行picoGPT逐步深入理解其架构和关键组件，但不包括训练部分。核心思想包括自回归生成和Transformer架构。

本研究提出了一种新颖的脑信号解码技术，通过预测DINOv2模型的图像嵌入，将fMRI信号解码为图像字幕，并作为GPT-2语言模型的前缀，从而显著降低计算需求。同时，采用三维卷积神经网络更好地考虑体素位置信息，提升大脑解码的精度和效率。

本研究探讨了变压器中注意力机制的渐近特性，证明了所有令牌在渐进过程中相互趋同，并验证了理论结果与GPT-2模型实验的一致性。

本研究探讨数据窥探对神经网络代码漏洞检测的影响，结果显示其对模型性能影响有限，且GPT-2嵌入模型在复杂代码特征表示方面表现出良好的鲁棒性。

现代自回归语言模型在自然语言处理上表现出色，但存在一些局限性。本文评估了得分熵离散扩散（SEDD）方法，发现其是自回归生成的有效替代方案，尽管在短提示生成上略逊于GPT-2，但在推理延迟方面更为高效。

为提升用户满意度，推荐系统需提供解释。我们开发了一种模型，利用用户和项目ID向量作为GPT-2的提示，通过联合训练优化推荐与解释任务。实验结果显示，该方法在Yelp、TripAdvisor和Amazon数据集上表现优异，确保文本质量稳定。

本文介绍了一种基于GPT-2的开放域对话模型，通过学习上下文与回复的隐式模式来提升回复质量。提出了改进的抽样方法和回复感知机制，使回复更具多样性和人类特征。实验结果表明，该模型在评估中优于基线模型。

神经网络模型性能高但难以解释。文章提出电路探测技术，通过分析中间变量的低层电路，实现参数切割和因果分析。在简单算术任务中，该方法有效解密模型算法，揭示内部结构，追踪电路发展。应用于GPT2模型，发现负责主谓一致和反身指代的电路。