一个手机也能跑的开源LLM模型

💡 原文中文,约900字,阅读约需3分钟。
📝

内容提要

MLC-LLM是一个跨平台的大型AI模型,可在各种设备上本地运行。默认内置RedPajama模型,也可从Hugging Face下载更换。团队宣称已上线APPStore,搜索MLC Chat即可下载。

🎯

关键要点

  • MLC-LLM是一个跨平台的大型AI模型,可以在多种设备上本地运行。
  • 该项目支持iPhone、iPad、安卓、Windows、Linux、MacBook及支持WebGPU的浏览器。
  • 项目内置RedPajama模型,用户可从Hugging Face下载更换模型。
  • 团队已在APP Store上线,用户可搜索MLC Chat下载体验。
  • 项目使命是让每个人和每台设备都能本地开发、部署和运行AI模型。
  • 当前性能尚需优化,团队正在持续改进。
  • 提供C++编译的简单示例,便于用户集成到自己的应用中。
  • 用户可关注获取iOS测试版或安卓版本的安装包。
➡️

继续阅读