蓝点网
·
手机上本地运行AI模型是怎样的体验？体验就是我确实还是太自信了...
💡
原文中文，约1000字，阅读约需3分钟。
📝
内容提要
MLC团队推出了支持手机上运行的AI模型，但存在内存和图形性能问题，MLC Chat是一个基于手机本机运行的大型语言模型，未来有望实现人手一个离线的对话机器人，可在多个平台上使用，下载模型需要耐心等待。
🎯
关键要点
- MLC团队推出支持手机运行的AI模型，但存在内存和图形性能问题。
- MLC Chat是基于手机本机运行的大型语言模型，未来有望实现人手一个离线对话机器人。
- 目前的AI模型多基于云端，存在数据隐私问题。
- 开源模型支持离线部署，但低配置显卡运行困难。
- 测试机型为iPhone 12 Pro Max，内存刚好达到要求，但对话速度慢。
- 模型启动后会占用大量内存，导致其他程序被杀掉。
- 中文对话内容出现乱码，英文回答正常。
- 期待未来MLC Chat的体验改善，模型下载需要耐心等待。
➡️
