LoRexxar's Blog
·
打造自己的AIGC应用（一）入门篇
内容提要
AI应用已经变得非常实用，打造自己的AI应用也变得简单。配置基础环境需要Python3.8+、CUDA、PyTorch和支持C++17的编译器。安装PyTorch环境可以使用conda或源码编译。在Windows上编译PyTorch源码较复杂，需要注意Python版本和硬件要求。除了配置环境，还有一些开源的大语言模型可供使用，如ChatGLM和LLaMA。在中文领域，效果最好且应用最多的开源底座模型是MOSS。此外，还有基于RWKV架构的Chat模型和Embedding模型。还有一些平台化的解决方案，如gradio和FastChat。知识库文件是重要的一环，常用的相似度检测工具是faiss。langchain是一套成熟的AI应用方案，可以快速构建chat AI。
关键要点
-
AI应用变得实用，打造自己的AI应用变得简单。
-
基础环境配置需要Python3.8+、CUDA、PyTorch和支持C++17的编译器。
-
推荐使用Anaconda配置环境，安装PyTorch可通过conda或源码编译。
-
Windows上编译PyTorch源码复杂，需注意Python版本和硬件要求。
-
开源大语言模型如ChatGLM、LLaMA和MOSS在中文领域应用广泛。
-
MOSS支持中英双语，具有多轮对话能力和插件使用能力。
-
RWKV架构的Chat模型可用于闲聊和创作，模型规模多样。
-
Embedding模型是GPT的重要组成部分，支持多种开源Embedding模型。
-
Gradio是用于数据演示的web框架，支持快速构建交互界面。
-
FastChat是基于LLaMA的二次调参训练平台，提供高平台化程度。
-
知识库文件在langchain方案中重要，影响应用结果有效度。
-
faiss是常用的相似度检测工具，用于构建向量数据库。
-
langchain是一套成熟的AI应用方案，基于上下文的训练方案。
-
langchain-ChatGLM在中文支持上表现良好，支持知识库检索。
-
配置完成后可运行项目，首次运行会下载大模型。
