量子位
·
4o-mini只有8B，o1也才300B！微软论文意外曝光GPT核心机密
内容提要
微软意外泄露了GPT模型的参数信息，其中o1-preview约300B，GPT-4o约200B，GPT-4o-mini约8B。研究表明Claude 3.5 Sonnet在错误检测方面优于其他模型。网友对此表示关注，认为参数泄露可能影响OpenAI的开源计划。
关键要点
-
微软意外泄露了GPT模型的参数信息，包括o1-preview约300B，GPT-4o约200B，GPT-4o-mini约8B。
-
Claude 3.5 Sonnet在错误检测方面优于其他模型，得分为70.16。
-
论文中提到的MEDEC研究旨在识别和纠正临床笔记中的错误，包含3848份临床文本。
-
参数泄露发生在实验环节，研究者在介绍模型时公开了参数和发布时间。
-
网友对参数泄露表示关注，认为可能影响OpenAI的开源计划。
-
英伟达确认GPT-4是1.8T MoE，网友对模型参数的合理性进行讨论。
-
OpenAI可能不会公布确切的模型参数，开源计划的未来不明。
延伸解读
参数泄露的影响
微软论文中意外泄露的GPT模型参数引发了广泛关注，尤其是对OpenAI的开源计划可能产生的影响。许多网友认为，这种泄露可能会导致OpenAI在未来更加谨慎，甚至可能放弃部分开源计划。
Claude 3.5 Sonnet的优势
根据研究，Claude 3.5 Sonnet在错误检测方面表现优于其他模型，得分达到70.16。这表明在特定任务中，较小的模型也能展现出强大的能力，可能会影响未来模型的开发方向。
模型参数的估计问题
虽然论文中提到的参数数据大多为估计，但这并未阻止网友对其合理性的讨论。特别是关于GPT-4o-mini的参数，许多人对其仅有8B的说法表示怀疑，认为实际情况可能更复杂。
延伸问答
微软泄露的GPT模型参数有哪些？
o1-preview约300B，GPT-4o约200B，GPT-4o-mini约8B。
Claude 3.5 Sonnet在错误检测方面表现如何？
Claude 3.5 Sonnet在错误检测方面得分为70.16，优于其他模型。
MEDEC研究的主要目的是什么？
MEDEC研究旨在识别和纠正临床笔记中的错误。
参数泄露对OpenAI的开源计划有什么影响？
网友认为参数泄露可能影响OpenAI的开源计划，未来不明。
微软之前是否有类似的参数泄露事件？
是的，微软在2023年10月曾泄露GPT-3.5-Turbo的20B参数。
为什么谷歌Gemini模型的参数没有被公开？
可能是因为谷歌对其模型参数的准确性有信心，因此没有公开。
