挖坑不填兽
·
个人版 AI 辅助系统的尝试
原文中文，约1800字，阅读约需5分钟。
📝
内容提要
作者在CSDN上分享了自己搭建AI工作环境的经历，购买了高配的MacBook Pro并使用llama.cpp和ollama等工具运行模型。开发了命令行工具Blue Shell辅助工作。AI系统目前不能满足创造性需求。
🎯
关键要点
-
作者希望建立自己的AI工作环境，因团队资源紧张。
-
购买了高配的MacBook Pro以满足AI需求。
-
目标是建立一套私人工具系统，能够完成智能化文档生成、翻译和代码生成等任务。
-
尝试使用torch和tensorflow运行模型，但发现性能不足。
-
使用llama.cpp和ollama工具运行模型，llama.cpp表现更好。
-
开发了词法分析器工具，支持多种编程语言的微调。
-
搭建私有AI系统的目标是辅助编写C代码。
-
开发了命令行工具Blue Shell以提高工作效率，支持中文和codellama的输出。
-
目前AI系统在创造性需求上仍然不足。
❓
延伸问答
作者为什么想要建立自己的AI工作环境？
因为团队资源紧张，办公服务器忙碌，个人的MacBook Pro性能不足以满足AI需求。
作者使用了哪些工具来运行AI模型？
作者使用了llama.cpp和ollama工具来运行模型，其中llama.cpp表现更好。
作者开发的Blue Shell工具有什么功能？
Blue Shell是一个命令行工具，支持行编辑、中文输出和连接指定的ollama。
作者在搭建AI系统时遇到了什么性能问题？
作者发现使用torch和tensorflow运行模型性能不足，运行30B的LLM也有些吃力。
作者的AI系统目前能满足哪些需求？
目前AI系统能辅助编写C代码，但在创造性需求上仍然不足。
作者对现有客户端应用的看法是什么？
作者对现有客户端应用不满意，认为它们存在配置问题和中文支持差等问题。
🏷️
