chatllm-vscode:与大模型API交互VSCode插件
内容提要
ChatLLM是一个VSCode扩展,用于与LLM API进行交互。它利用VSCode笔记本支持创建.chatllm文件,可以通过长文档与LLM系统交互。特点包括在VSCode IDE中进行聊天对话,本地存储和操作长格式聊天对话,动态展开文件为提示,支持不同的LLM API和模型。安装扩展,编辑设置,添加.chatllm文件,添加代码单元格并运行。插件提供了更好的LLM使用方式,通过长式互动将聊天记录视为长期发展的项目。
延伸解读
为何选择笔记本界面
作者认为,现有LLM使用方式多偏向一次性问答,而笔记本界面更适合长期互动。ChatLLM利用VSCode笔记本创建.chatllm文件,将聊天记录视为可长期发展的项目,支持动态展开文件为提示,并本地存储长对话,避免云存储依赖和界面卡顿。
与普通聊天插件的区别
VSCode上已有不少“与ChatGPT对话”类插件,但作者指出它们优先考虑短期问题和代码生成。ChatLLM则强调长格式互动,通过.chatllm笔记本记录完整对话历史,并支持OpenAI、Together、Google等多种LLM API,适合需要持续讨论和迭代的任务。
使用前提与限制
该插件要求用户自备OpenAI API密钥或其他LLM API密钥,不适用于免费版ChatGPT。这意味着使用者需自行承担API调用成本,并确保密钥配置正确。此外,插件目前支持OpenAI、Together、Google的API,但具体模型可用性取决于各API提供方。
开发环境的选择考量
作者选择开发VSCode插件而非Jupyter notebook cell magic,主要是希望在实际集成开发环境中进行开发。虽然将插件嵌入Jupyter笔记本也有意义,但作者更倾向一个只处理LLM的专用接口,避免大部分开发工作都在笔记本中进行。
Q&A
ChatLLM 插件是什么?它主要用来做什么?
ChatLLM 是一个 VSCode 扩展,用于以灵活且长格式的方式与 LLM API 进行交互。它利用 VSCode 笔记本支持创建 .chatllm 文件,让用户可以通过长文档与基于 API 的 LLM 系统进行交互。
使用 ChatLLM 需要什么前提条件?
使用 ChatLLM 需要用户拥有自己的 OpenAI API 密钥(或其他 LLM API 密钥),它不适用于免费版本的 ChatGPT。
ChatLLM 支持哪些 LLM API 和模型?
ChatLLM 目前支持 OpenAI、Together、Google 等不同的 LLM API,并支持多种不同的模型。
如何快速开始使用 ChatLLM?
快速开始步骤:1. 安装扩展;2. 运行“ChatLLM:编辑设置”命令;3. 在默认的 GPT-4-Turbo 模型中添加 OpenAI API 密钥;4. 创建一个扩展名为“.chatllm”的新笔记本文件;5. 添加代码单元格,键入提示符并运行,响应将流回单元输出。
ChatLLM 相比其他 VSCode 聊天插件有什么优势?
ChatLLM 注重长式互动,将聊天记录视为长期发展的“项目”,而其他插件(如“与 ChatGPT 对话”类型或 GitHub Copilot 聊天)优先考虑短期的一次性问题和代码生成。ChatLLM 利用笔记本界面在本地存储和操作长格式聊天对话,无需依赖云存储,并支持动态展开文件为提示。
为什么作者选择开发 VSCode 插件而不是 Jupyter notebook 扩展?
作者希望在实际的集成开发环境中进行开发,而不是将大部分开发工作放在笔记本中进行。虽然将插件嵌入带有 Python 内核的 Jupyter 笔记本可能有意义,但作者更希望有一个只处理 LLM 的更具体的接口。