BriefGPT - AI 论文速递 · 2023-10-03T00:00:00Z

通过中奖彩票集成的神经缩放定律

📝

内容提要

本文研究了神经缩放定律，发现更宽的网络具有更多“大乐透号码”，通过集成以减少输出的方差。通过对单个神经网络的机械解释和统计研究来支持集成机制。讨论了它对大型语言模型和学习的统计物理类型理论的潜在影响。

🏷️

标签

大乐透号码 大型语言模型 神经缩放定律 统计物理类型理论 集成机制