一个手机也能跑的开源LLM模型
💡
原文中文,约900字,阅读约需3分钟。
📝
内容提要
MLC-LLM是一个跨平台的大型AI模型,可在各种设备上本地运行。默认内置RedPajama模型,也可从Hugging Face下载更换。团队宣称已上线APPStore,搜索MLC Chat即可下载。
🎯
关键要点
- MLC-LLM是一个跨平台的大型AI模型,可以在多种设备上本地运行。
- 该项目支持iPhone、iPad、安卓、Windows、Linux、MacBook及支持WebGPU的浏览器。
- 项目内置RedPajama模型,用户可从Hugging Face下载更换模型。
- 团队已在APP Store上线,用户可搜索MLC Chat下载体验。
- 项目使命是让每个人和每台设备都能本地开发、部署和运行AI模型。
- 当前性能尚需优化,团队正在持续改进。
- 提供C++编译的简单示例,便于用户集成到自己的应用中。
- 用户可关注获取iOS测试版或安卓版本的安装包。
➡️