近期LLM的部署与应用经历
💡
原文中文，约3300字，阅读约需8分钟。
📝
内容提要
作者探讨了DeepSeek的应用与部署，分享了硬件选择和软件配置的搭建过程。尽管面临一些挑战，作者对DeepSeek的市场潜力持乐观态度，认为未来将继续优化和应用。
🎯
关键要点
- 作者探讨了DeepSeek的应用与部署，分享了硬件选择和软件配置的搭建过程。
- DeepSeek在国内市场非常火，百度的使用体验最好。
- 作者选择自行搭建DeepSeek，考虑到成本和接口连接问题。
- 购买了RTX4090显卡以提高DeepSeek的运行速度，但蒸馏模型效果不佳。
- 清华大学的KTransformers框架提升了DeepSeek的性能，作者计划升级硬件以支持更好的模型。
- 知识库的构建是DeepSeek应用的关键，作者使用MaxKB作为向量数据库。
- MaxKB的社区版限制创建应用数量，作者对这种限制表示不满。
- 作者通过修改代码绕过MaxKB的限制，认为开源软件应更开放。
- Cherry Studio是一个更方便的桌面软件，适合个人用户使用。
- 总体来看，DeepSeek的市场潜力被看好，尽管面临一些挑战，作者对未来持乐观态度。
❓
延伸问答
DeepSeek的市场表现如何？
DeepSeek在国内市场非常火，尤其是百度的使用体验最好，其他公司的可用性和速度较差。
作者选择自行搭建DeepSeek的原因是什么？
作者认为接入其他公司的接口成本较高，且需要的应用可能无法连接这些接口，因此选择自行搭建。
使用DeepSeek时遇到的主要技术挑战是什么？
作者遇到的挑战包括蒸馏模型效果不佳，逻辑错误频繁，以及MaxKB社区版限制创建应用数量。
KTransformers框架对DeepSeek的性能提升有何影响？
KTransformers框架可以利用Intel的AMX指令集，使DeepSeek-R1的运行速度提升到可用级别。
MaxKB的社区版存在哪些限制？
MaxKB的社区版限制只能创建五个应用，作者对此表示不满，认为开源软件应更开放。
Cherry Studio与MaxKB相比有什么优势？
Cherry Studio更适合个人用户，安装方便，功能上可能不如MaxKB强大，但处理文档和添加知识库更简单。
➡️
