陶哲轩在普林斯顿的经历让他认识到,专注于学术并非总是有益。他指出,科学不仅要创造理论,还需讲述故事。AI的崛起改变了科学研究方式,未来需要更有效的验证和筛选机制,以应对信息泛滥的挑战。
普林斯顿团队发现英伟达B200 GPU因软硬件不匹配导致60%算力浪费,利用率仅为20%-30%。经过FlashAttention-4算法优化后,利用率提升至71%。该算法通过改进指数运算和内存管理,显著提高计算效率,并将编译速度提升至30倍。
机器之心数据服务现已上线,提供高效稳定的数据获取,简化数据爬取流程。
普林斯顿大学与Meta合作推出LinGen框架,通过MATE模块将视频生成复杂度降低至线性,显著提升生成效率。LinGen在视频质量上优于DiT,生成速度最高可加速15倍,且适应性强,能处理更长的token序列。
机器之心数据服务现已上线,提供高效稳定的数据获取服务,简化数据爬取流程。
三位普林斯顿数学家改进了经典牛顿法,提升了收敛速度和适用范围。新算法通过调整泰勒展开,更有效地处理复杂函数,尤其在初始点远离最小值时表现更佳。参与者包括华人学者Jeffrey Zhang,研究方向涵盖数据科学和优化。
研究表明,尽管大语言模型(LLM)在文本生成方面表现优异,但在复杂的战略规划和社交推理任务中存在不足。新评测框架SPIN-Bench揭示了LLM在多智能体博弈和合作中的短板,尤其是在动态环境和不完全信息下,模型的决策能力和社交智能仍需提升。
ReasonFlux是一个多层次的LLM推理框架,通过结构化思维模板和层次化强化学习提高推理效率和可解释性。它在多个数学推理数据集上表现出色,展示了小模型的潜力和广泛应用前景。
随着生成式人工智能的发展,蛋白质结构预测面临版权和生物安全问题。普林斯顿大学提出的FoldMark水印方法,通过预训练和微调生成模型,嵌入水印以保护版权并追踪生成结构。实验表明,FoldMark的水印恢复准确率接近100%,且能抵抗后处理和攻击。尽管存在局限性,FoldMark为蛋白质设计中的版权保护提供了有效方案。
普林斯顿的研究发现,思维链(CoT)在某些任务中会降低模型表现,例如在生造词分类任务中,GPT-4的准确率从94%降至64.4%。研究指出,深思熟虑可能影响人类和模型的表现,尤其在隐式统计学习和面部识别等任务中。模型与人类能力的差异导致表现约束,需具体分析CoT的有效性。
清华姚班学霸姚顺雨加入OpenAI,他是普林斯顿博士,也是Rapper。他的研究成果包括思维树和SWE-bench等,都围绕大模型展开。姚顺雨的加入引起了圈内关注,还有其他姚班校友在搞大模型。OpenAI还在招聘模型行为团队成员。
普林斯顿大学研究人员探讨了基于Transformer架构的语言模型和人类大脑在语言处理中的功能特殊化问题。研究发现,注意力头的计算可以解释大脑活动的差异,而transformations比嵌入本身更能解释大脑活动中的差异。这项研究为理解人类语言处理提供了新的视角。
完成下面两步后,将自动完成登录并继续当前操作。