近期LLM的部署与应用经历
💡
原文中文，约3300字，阅读约需8分钟。
📝
内容提要
作者探讨了DeepSeek的应用与部署，分享了硬件选择和软件配置的搭建过程。尽管面临一些挑战，作者对DeepSeek的市场潜力持乐观态度，认为未来将继续优化和应用。
🎯
关键要点
- 作者探讨了DeepSeek的应用与部署，分享了硬件选择和软件配置的搭建过程。
- DeepSeek在国内市场非常火，百度的使用体验最好。
- 作者选择自行搭建DeepSeek，考虑到成本和接口连接问题。
- 购买了RTX4090显卡以提高DeepSeek的运行速度，但蒸馏模型效果不佳。
- 清华大学的KTransformers框架提升了DeepSeek的性能，作者计划升级硬件以支持更好的模型。
- 知识库的构建是DeepSeek应用的关键，作者使用MaxKB作为向量数据库。
- MaxKB的社区版限制创建应用数量，作者对这种限制表示不满。
- 作者通过修改代码绕过MaxKB的限制，认为开源软件应更开放。
- Cherry Studio是一个更方便的桌面软件，适合个人用户使用。
- 总体来看，DeepSeek的市场潜力被看好，尽管面临一些挑战，作者对未来持乐观态度。
➡️
