AnythingLLM – 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天
内容提要
AnythingLLM是一款跨平台桌面客户端，支持本地运行LLM大语言模型，功能丰富。用户可上传文件作为向量数据库，但内置模型效果可能不佳。使用本地大语言模型需要学习时间。
延伸解读
本地部署的便利与门槛
AnythingLLM 将本地大语言模型的安装门槛降到了几乎为零，支持 Windows、macOS、Linux，并集成 Ollama，提供中文界面，用户可从软件内直接下载模型。然而，文章指出，与在线大语言模型即开即问不同，本地模型的使用存在至少 1 小时的入门学习时间，模型选择是主要难点。因此，便利的安装并不等同于零学习成本，用户需做好投入时间研究的准备。
与 LM Studio 的对比与联动
AnythingLLM 与 LM Studio 类似，都是本地部署 LLM 的工具，但 AnythingLLM 功能更丰富，支持嵌入模型、语音和转录。两者可以联动：在 AnythingLLM 的嵌入首选项中选择 LM Studio 作为嵌入引擎提供商，只需在 LM Studio 打开 Server，AnythingLLM 就会自动识别。此外，用户还可以将之前在 LM Studio 下载的模型导入 AnythingLLM 中使用，方便迁移。
内置模型效果与选择建议
文章提到，AnythingLLM 默认自带模型，用户也可以自行下载其他模型。但在工作区上传文件作为向量数据库进行测试时，作者发现内置模型效果很不好，答非所问。作者推测可能是模型选择有问题。这提示用户，若想获得可用的文档问答体验，可能需要尝试更换模型，而非依赖默认配置。
Q&A
AnythingLLM支持哪些操作系统？
AnythingLLM支持Windows、macOS和Linux操作系统。
如何使用AnythingLLM进行离线操作？
用户可以选择自定义模型或从软件内下载模型，AnythingLLM支持完全离线使用。
AnythingLLM的模型选择对使用效果有何影响？
内置模型效果可能不佳，用户需要根据需求选择合适的模型。
使用AnythingLLM需要多长时间学习？
使用本地大语言模型至少需要1小时的学习时间。
AnythingLLM与LM Studio有什么区别？
AnythingLLM功能更丰富，支持嵌入模型、语音和转录，而LM Studio功能相对较少。
如何将文件上传到AnythingLLM？
用户可以在工作区中上传文件，这些文件将变成向量数据库。
