26年前老年机跑Llama2,每秒39个token:你的AI PC,也可以是Windows 98

26年前老年机跑Llama2,每秒39个token:你的AI PC,也可以是Windows 98

💡 原文中文,约4000字,阅读约需10分钟。
📝

内容提要

EXO Labs成功在26年前的Windows 98奔腾II电脑上运行Llama 2,输出达到39.31 tok/秒,展示了人工智能在旧硬件上的潜力。该项目由牛津大学研究人员发起,旨在推动AI的普及,抵制少数公司对AI的控制。EXO通过古老的FTP传输文件,并使用Borland C++编译现代代码,实现了在老旧设备上运行AI模型的目标。

🎯

关键要点

  • EXO Labs成功在26年前的Windows 98奔腾II电脑上运行Llama 2,输出达到39.31 tok/秒。
  • 该项目旨在推动人工智能的普及,抵制少数公司对AI的控制。
  • EXO Labs由牛津大学研究人员和工程师组成,致力于建立开放的基础设施来训练前沿模型。
  • 项目使用古老的FTP传输文件,并通过Borland C++编译现代代码以实现AI模型在老旧设备上的运行。
  • EXO Labs在eBay上购买了一台旧的Windows 98 PC,并克服了与现代外围设备兼容的问题。
  • 文件传输过程中,使用古老的FTP解决了现代解决方案无法识别RW磁盘的问题。
  • 在Windows 98下编译现代代码面临挑战,最终使用Borland C++ 5.02成功编译了适用于该系统的代码。
  • 通过对Andrej Karpathy的llama2.c进行调整,成功在Windows 98上运行Llama模型。
  • 未来的研究方向包括BitNet模型,旨在使前沿模型在任何硬件上运行。
  • EXO Labs希望看到更多努力集中于在旧硬件上运行人工智能模型,探索新架构以提高效率。
➡️

继续阅读