![技术速递｜oBeaver —— 一只可以在你本地机器上运行大语言模型的海狸 [特殊字符]](https://i-blog.csdnimg.cn/img_convert/70160dba46b0d7686e2570f24396f6a9.png)
技术速递｜oBeaver —— 一只可以在你本地机器上运行大语言模型的海狸 [特殊字符]
💡
原文中文，约7700字，阅读约需19分钟。
📝
内容提要
oBeaver 是一个本地运行大语言模型的工具，旨在避免云端数据传输。它基于 ONNX Runtime，支持多平台和 NPU 加速，提供简便的模型转换和推理功能，兼容 OpenAI API。oBeaver 结合了 Microsoft Foundry Local 和 ONNX Runtime，适用于多种场景，未来将增强 GPU 和 NPU 支持。
🎯
关键要点
- oBeaver 是一个本地运行大语言模型的工具，旨在避免云端数据传输。
- oBeaver 基于 ONNX Runtime，支持多平台和 NPU 加速，提供简便的模型转换和推理功能。
- oBeaver 兼容 OpenAI API，能够与多种工具无缝集成。
- oBeaver 集成了 Microsoft Foundry Local 和 ONNX Runtime，适用于 macOS、Windows 和 Linux。
- oBeaver 支持文本对话、向量嵌入和视觉语言等多种场景。
- oBeaver 目前仅支持 CPU 推理，但未来将增强 GPU 和 NPU 支持。
- oBeaver 提供了 Docker 镜像，支持在无界面服务器和 Kubernetes 集群中运行。
- oBeaver 内置了 Web Dashboard，方便用户进行模型评估和性能对比。
❓
延伸问答
oBeaver 是什么？
oBeaver 是一个本地运行大语言模型的工具，旨在避免云端数据传输。
oBeaver 如何支持多平台？
oBeaver 基于 ONNX Runtime，支持 macOS、Windows 和 Linux 等多平台。
oBeaver 的主要功能有哪些？
oBeaver 提供模型转换、推理功能，支持文本对话、向量嵌入和视觉语言等多种场景。
oBeaver 如何与 OpenAI API 兼容？
oBeaver 兼容 OpenAI API，用户只需修改 base_url 即可将现有代码与 oBeaver 连接。
oBeaver 的双引擎设计有什么优势？
双引擎设计结合了 Microsoft Foundry Local 和 ONNX Runtime，提供更广泛的模型选择和平台支持。
oBeaver 目前支持哪些推理后端？
目前 oBeaver 仅支持 CPU 推理，未来将增强对 GPU 和 NPU 的支持。
🏷️
标签
➡️
