LoRexxar's Blog
·
打造自己的AIGC应用（一）入门篇
💡
原文中文，约5600字，阅读约需14分钟。
📝
内容提要
AI应用已经变得非常实用，打造自己的AI应用也变得简单。配置基础环境需要Python3.8+、CUDA、PyTorch和支持C++17的编译器。安装PyTorch环境可以使用conda或源码编译。在Windows上编译PyTorch源码较复杂，需要注意Python版本和硬件要求。除了配置环境，还有一些开源的大语言模型可供使用，如ChatGLM和LLaMA。在中文领域，效果最好且应用最多的开源底座模型是MOSS。此外，还有基于RWKV架构的Chat模型和Embedding模型。还有一些平台化的解决方案，如gradio和FastChat。知识库文件是重要的一环，常用的相似度检测工具是faiss。langchain是一套成熟的AI应用方案，可以快速构建chat AI。
🎯
关键要点
- AI应用变得实用，打造自己的AI应用变得简单。
- 基础环境配置需要Python3.8+、CUDA、PyTorch和支持C++17的编译器。
- 推荐使用Anaconda配置环境，安装PyTorch可通过conda或源码编译。
- Windows上编译PyTorch源码复杂，需注意Python版本和硬件要求。
- 开源大语言模型如ChatGLM、LLaMA和MOSS在中文领域应用广泛。
- MOSS支持中英双语，具有多轮对话能力和插件使用能力。
- RWKV架构的Chat模型可用于闲聊和创作，模型规模多样。
- Embedding模型是GPT的重要组成部分，支持多种开源Embedding模型。
- Gradio是用于数据演示的web框架，支持快速构建交互界面。
- FastChat是基于LLaMA的二次调参训练平台，提供高平台化程度。
- 知识库文件在langchain方案中重要，影响应用结果有效度。
- faiss是常用的相似度检测工具，用于构建向量数据库。
- langchain是一套成熟的AI应用方案，基于上下文的训练方案。
- langchain-ChatGLM在中文支持上表现良好，支持知识库检索。
- 配置完成后可运行项目，首次运行会下载大模型。
➡️
