量子位
·
电脑平板组AI集群，在家就能跑400B大模型，GitHub狂揽2.5K星
💡
原文中文，约2000字，阅读约需5分钟。
📝
内容提要
开源分布式AI推理框架exo可构建苹果设备和安卓手机的本地算力网络，支持p2p连接和不同分区策略，无需手动配置。框架理论上适用于所有设备，目标是简化使用。
🎯
关键要点
- 开源分布式AI推理框架exo可构建苹果设备和安卓手机的本地算力网络。
- exo框架支持p2p连接，设备自动加入集群，无需手动配置。
- 开发者使用exo框架连接三台苹果电脑，运算速度达到110TFLOPS。
- exo框架支持iPhone、iPad等设备加入算力网络，甚至Apple Watch也能参与。
- exo支持不同的分区策略，默认是环内存加权分区，配置过程最快60秒完成。
- exo框架兼容苹果MLX和开源机器学习框架tinygrad，正在适配llama.cpp。
- 本地化运行大模型的优点包括隐私保障、离线访问和个性化定制。
- 网友对exo的性能和设备兼容性提出疑问，认为旧设备算力不足。
- 框架作者表示，exo理论上支持所有能运行tinygrad的设备，仍处于实验阶段。
- exo官方计划解决当前缺点，并提供奖金激励。
➡️
