量子位
·
电脑平板组AI集群，在家就能跑400B大模型，GitHub狂揽2.5K星
💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
开源分布式AI推理框架exo可构建苹果设备和安卓手机的本地算力网络，支持p2p连接和不同分区策略，无需手动配置。框架理论上适用于所有设备，目标是简化使用。
🎯
关键要点
- 开源分布式AI推理框架exo可构建苹果设备和安卓手机的本地算力网络。
- exo框架支持p2p连接，设备自动加入集群，无需手动配置。
- 开发者使用exo框架连接三台苹果电脑，运算速度达到110TFLOPS。
- exo框架支持iPhone、iPad等设备加入算力网络，甚至Apple Watch也能参与。
- exo支持不同的分区策略，默认是环内存加权分区，配置过程最快60秒完成。
- exo框架兼容苹果MLX和开源机器学习框架tinygrad，正在适配llama.cpp。
- 本地化运行大模型的优点包括隐私保障、离线访问和个性化定制。
- 网友对exo的性能和设备兼容性提出疑问，认为旧设备算力不足。
- 框架作者表示，exo理论上支持所有能运行tinygrad的设备，仍处于实验阶段。
- exo官方计划解决当前缺点，并提供奖金激励。
❓
延伸问答
exo框架的主要功能是什么？
exo框架可以构建苹果设备和安卓手机的本地算力网络，支持p2p连接，简化了设备的集成过程。
使用exo框架需要手动配置吗？
不需要，exo框架支持设备自动加入集群，配置过程最快60秒完成。
exo框架支持哪些设备？
exo框架理论上支持所有能运行tinygrad的设备，包括iPhone、iPad、安卓手机，甚至Apple Watch。
本地化运行大模型有哪些优点？
本地化运行大模型的优点包括隐私保障、离线访问和个性化定制，且长期使用成本低于云端服务。
exo框架的性能是否受到旧设备的限制？
是的，旧设备的算力水平无法与专业服务商相比，可能影响性能。
exo框架的未来计划是什么？
exo官方计划解决当前缺点，并提供奖金激励，目标是使框架变得像Dropbox一样简单。
➡️
