量子位
·
她们估值840亿，刚发了第一个AI成果
💡
原文中文，约3500字，阅读约需9分钟。
📝
内容提要
Thinking Machines发布首篇研究，探讨大语言模型推理中的不确定性，指出批次不变性是关键问题。创始人Mira Murati强调科学分享的重要性，团队成员来自OpenAI，已完成20亿美元融资，估值达120亿美元。
🎯
关键要点
-
Thinking Machines发布首篇研究，探讨大语言模型推理中的不确定性。
-
创始人Mira Murati强调科学分享的重要性，团队成员来自OpenAI。
-
公司已完成20亿美元融资，估值达120亿美元。
-
研究主题为克服大语言模型推理中的不确定性，指出批次不变性是关键问题。
-
浮点数计算的非结合性导致推理结果难以复现。
-
解决方案包括让RMSNorm、矩阵乘法和注意力机制具备批次不变性。
-
研究验证了确定性推理的有效性和性能损失在可接受范围内。
-
Thinking Machines团队成员背景强大，主要来自OpenAI。
-
公司第一个产品名为Connection Machine，致敬连接主义。
❓
延伸问答
Thinking Machines的首篇研究主要探讨了什么问题？
主要探讨了大语言模型推理中的不确定性，指出批次不变性是关键问题。
Mira Murati在Thinking Machines中担任什么角色？
她是Thinking Machines的创始人，曾任OpenAI的CTO。
Thinking Machines的估值和融资情况如何？
公司已完成20亿美元融资，估值达120亿美元。
研究中提到的浮点数计算非结合性对推理结果有什么影响？
浮点数计算的非结合性导致推理结果难以复现，不同计算顺序会产生不同结果。
Thinking Machines的第一个产品是什么？
第一个产品名为Connection Machine，致敬连接主义。
如何解决大语言模型推理中的批次不变性问题？
需要让RMSNorm、矩阵乘法和注意力机制具备批次不变性，确保计算顺序不受批次大小影响。
➡️
