[实验性] 有开发者破解苹果ANE神经网络引擎 原来M4芯片也能直接训练小模型

[实验性] 有开发者破解苹果ANE神经网络引擎 原来M4芯片也能直接训练小模型

💡 原文中文,约1600字,阅读约需4分钟。
📝

内容提要

开发者通过逆向工程破解了苹果的ANE神经网络引擎,使其能够在M4芯片上训练小型AI模型。尽管目前只能训练极小规模的模型,但未来个人设备可能实现自我学习,减少对云端的依赖。

🎯

关键要点

  • 开发者通过逆向工程破解苹果的ANE神经网络引擎,能够在M4芯片上训练AI模型。

  • 目前只能训练规模极小的模型,但未来可能实现个人设备自我学习,减少对云端的依赖。

  • ANE引擎主要用于运行AI模型,苹果未公开其训练模型的能力。

  • 该项目证明M4芯片的ANE可以用于训练AI模型,普通用户未来可能也能使用消费级设备进行训练。

  • 传统AI训练需要昂贵的英伟达加速卡,而此项目显示普通Mac Mini也能训练模型。

  • 目前支持训练基础的Transformer层,模型规模为0.1B(1亿参数)。

  • 在M4芯片上每个步骤的训练仅需9.3毫秒,输出性能为1.78TFLOPS。

  • 项目仍处于实验性阶段,无法训练规模较大的模型,且存在苹果系统更新带来的限制。

  • 项目作者提供了配置指南,允许有兴趣的用户在M4设备上尝试。

  • 该项目在创立3天内获得3700颗星星,显示出用户的热情。

延伸问答

苹果的ANE神经网络引擎有什么新发现?

开发者通过逆向工程发现ANE神经网络引擎可以在M4芯片上训练小型AI模型,尽管苹果未公开这一能力。

目前在M4芯片上可以训练多大的模型?

目前只能训练规模极小的模型,例如0.1B(1亿参数)的基础Transformer层。

使用M4芯片训练AI模型的速度如何?

在M4芯片上,每个步骤的训练仅需9.3毫秒,输出性能为1.78TFLOPS。

这个项目对普通用户有什么意义?

该项目表明未来普通用户可能通过消费级设备训练AI模型,减少对云端的依赖。

开发者是如何实现这个项目的?

开发者通过逆向工程找到苹果未公开的内部代码,使ANE引擎能够执行复杂计算。

这个项目目前存在哪些限制?

项目仍处于实验性阶段,无法训练规模较大的模型,并且可能受到苹果系统更新的影响。

➡️

继续阅读