内容提要
麻省理工学院副教授乔纳森·拉根-凯利专注于优化计算机图形和图像处理,致力于开发高性能编程语言和机器学习技术。他的研究旨在提高新硬件在图像处理和人工智能领域的计算效率,通过自动化编译和机器学习优化程序,以适应复杂的硬件环境。
延伸解读
从通用到专用:领域特定语言的价值
拉根-凯利的研究核心是牺牲通用性以捕捉特定计算问题的结构,从而提升效率。例如,他参与开发的Halide语言专为图像处理设计,能高效处理密集规则数组,不仅革新了图像编辑行业,也适用于神经网络计算。这种思路表明,在硬件日益多样化的今天,针对特定领域定制编程语言,比坚持通用语言更能释放硬件潜力。
平衡性能与安全:用户可调度语言的探索
传统高性能编程常依赖低级语言手工优化,虽能榨取性能却易引入错误且开发效率低;而高级接口虽安全高效,却难以精细控制编译器。拉根-凯利团队试图找到中间地带,开发用户可调度语言,为性能工程师提供安全的高层控制手段,以平衡性能与安全性。这一方向有望让更多开发者轻松优化复杂硬件上的程序。
自动化与机器学习:编译器优化的新路径
拉根-凯利团队将机器学习应用于自动生成优化调度,并探索“外编译”方法,将编译器结构反转,允许人类指导与定制。这些技术旨在减少对手工调优的依赖,同时保持对关键问题的控制。其应用覆盖计算机视觉、语音合成、大语言模型等,显示出自动化编译器优化在广泛AI任务中的潜力。
面向大语言模型的系统级重构
在MIT-IBM Watson AI Lab的项目中,拉根-凯利团队正从系统角度重新思考大语言模型,调整计算和编程架构,使基于Transformer的模型能在AI硬件上更高效运行,且不牺牲准确性。这种偏离常规的思路可能大幅降低成本、提升能力,或缩小模型内存需求,让LLM在更小设备上运行,体现了对计算效率的前瞻性追求。
Q&A
乔纳森·拉根-凯利的研究重点是什么?
他的研究重点是优化计算机图形和图像处理,开发高性能编程语言和机器学习技术。
Halide编程语言的主要用途是什么?
Halide编程语言主要用于图像处理,已在行业中广泛应用于图像编辑软件。
拉根-凯利如何提高计算效率?
他通过牺牲通用性来捕捉特定计算问题的结构,从而提高计算效率。
用户调度语言的目的是什么?
用户调度语言旨在提供更高层次的控制,平衡性能和安全性。
拉根-凯利的团队如何利用机器学习?
他们将机器学习应用于自动生成优化调度,以提高编译器性能。
拉根-凯利对大型语言模型的研究有什么创新?
他的团队正在重新思考大型语言模型的计算和编程架构,以提高在AI硬件上的运行效率。