近期LLM的部署与应用经历
内容提要
作者探讨了DeepSeek的应用与部署，分享了硬件选择和软件配置的搭建过程。尽管面临一些挑战，作者对DeepSeek的市场潜力持乐观态度，认为未来将继续优化和应用。
关键要点
-
作者探讨了DeepSeek的应用与部署，分享了硬件选择和软件配置的搭建过程。
-
DeepSeek在国内市场非常火，百度的使用体验最好。
-
作者选择自行搭建DeepSeek，考虑到成本和接口连接问题。
-
购买了RTX4090显卡以提高DeepSeek的运行速度，但蒸馏模型效果不佳。
-
清华大学的KTransformers框架提升了DeepSeek的性能，作者计划升级硬件以支持更好的模型。
-
知识库的构建是DeepSeek应用的关键，作者使用MaxKB作为向量数据库。
-
MaxKB的社区版限制创建应用数量，作者对这种限制表示不满。
-
作者通过修改代码绕过MaxKB的限制，认为开源软件应更开放。
-
Cherry Studio是一个更方便的桌面软件，适合个人用户使用。
-
总体来看，DeepSeek的市场潜力被看好，尽管面临一些挑战，作者对未来持乐观态度。
延伸解读
硬件选择的重要性
在部署DeepSeek时，硬件的选择至关重要。作者提到使用RTX4090显卡显著提升了模型的运行速度，但蒸馏模型的效果却不尽如人意。这提醒读者，在选择硬件时，不仅要考虑性能，还要关注与软件兼容性和模型效果的平衡。
知识库构建的挑战
构建知识库是DeepSeek应用的关键步骤。作者使用MaxKB作为向量数据库，但社区版的应用数量限制让他感到不满。这反映出开源软件在功能限制上的潜在风险，用户在选择时应考虑软件的开放性和可扩展性，以避免后续的使用障碍。
开源软件的局限性
作者对MaxKB的开源限制表示不满，并通过修改代码绕过了这些限制。这一经历提醒用户，虽然开源软件提供了灵活性，但也可能存在功能限制，用户在选择时应仔细评估软件的实际使用情况和潜在的修改需求。
延伸问答
DeepSeek的市场表现如何？
DeepSeek在国内市场非常火，尤其是百度的使用体验最好，其他公司的可用性和速度较差。
作者选择自行搭建DeepSeek的原因是什么？
作者认为接入其他公司的接口成本较高，且需要的应用可能无法连接这些接口，因此选择自行搭建。
使用DeepSeek时遇到的主要技术挑战是什么？
作者遇到的挑战包括蒸馏模型效果不佳，逻辑错误频繁，以及MaxKB社区版限制创建应用数量。
KTransformers框架对DeepSeek的性能提升有何影响？
KTransformers框架可以利用Intel的AMX指令集，使DeepSeek-R1的运行速度提升到可用级别。
MaxKB的社区版存在哪些限制？
MaxKB的社区版限制只能创建五个应用，作者对此表示不满，认为开源软件应更开放。
Cherry Studio与MaxKB相比有什么优势？
Cherry Studio更适合个人用户，安装方便，功能上可能不如MaxKB强大，但处理文档和添加知识库更简单。
