个人版 AI 辅助系统的尝试
内容提要
作者在CSDN上分享了自己搭建AI工作环境的经历，购买了高配的MacBook Pro并使用llama.cpp和ollama等工具运行模型。开发了命令行工具Blue Shell辅助工作。AI系统目前不能满足创造性需求。
延伸解读
硬件选择与性能权衡
作者使用满配的M3 Max MacBook Pro（128GB内存）运行AI模型，但发现即使如此，运行30B的LLM仍有些吃力，70B模型在llama.cpp上慢到无法使用。这反映了在个人硬件上运行大模型的现实限制，尤其是与产业级超级显卡的差距。对于希望本地部署AI的用户，需在模型规模、响应速度和硬件成本之间做出权衡。
工具链对比：llama.cpp与ollama
作者对比了llama.cpp和ollama，发现llama.cpp泛用性更好，能加载ollama无法识别的模型并转换为gguf格式，而ollama可以加载llama.cpp处理后的模型。但在M3硬件上，ollama运行70B模型表现更好，llama.cpp则过慢。这表明工具选择需结合具体硬件和模型规模，没有绝对优劣。
自定义微调与开发目标
作者开发了词法分析器工具，将C、Java、Python、Scala等语言处理为alpaca lora格式，用于微调模型，以弥补codellama对C语言和Scala支持的不足。其私有AI系统的重要目标是辅助编写C代码，目前通过llama factory项目进行实验。这体现了针对特定需求定制模型的价值，而非依赖通用模型。
客户端体验与自研工具
作者对ollama官网推荐的客户端不满意，认为存在配置问题、中文支持差或操作繁琐。因此用Python编写了命令行工具Blue Shell，支持行编辑、可靠的中文处理、codellama的markdown输出，并能方便连接指定ollama。这说明了现有AI工具在本地化与易用性上的不足，以及自研工具在满足个性化需求上的必要性。
Q&A
作者为什么想要建立自己的AI工作环境？
因为团队资源紧张，办公服务器忙碌，个人的MacBook Pro性能不足以满足AI需求。
作者使用了哪些工具来运行AI模型？
作者使用了llama.cpp和ollama工具来运行模型，其中llama.cpp表现更好。
作者开发的Blue Shell工具有什么功能？
Blue Shell是一个命令行工具，支持行编辑、中文输出和连接指定的ollama。
作者在搭建AI系统时遇到了什么性能问题？
作者发现使用torch和tensorflow运行模型性能不足，运行30B的LLM也有些吃力。
作者的AI系统目前能满足哪些需求？
目前AI系统能辅助编写C代码，但在创造性需求上仍然不足。
作者对现有客户端应用的看法是什么？
作者对现有客户端应用不满意，认为它们存在配置问题和中文支持差等问题。
