dotNET跨平台 ·

技术速递｜oBeaver —— 一只可以在你本地机器上运行大语言模型的海狸 [特殊字符]

💡 原文中文，约7700字，阅读约需19分钟。

📝

内容提要

oBeaver 是一个本地运行大语言模型的工具，旨在避免云端数据传输。它基于 ONNX Runtime，支持多平台和 NPU 加速，提供简便的模型转换和推理功能，兼容 OpenAI API。oBeaver 结合了 Microsoft Foundry Local 和 ONNX Runtime，适用于多种场景，未来将增强 GPU 和 NPU 支持。

🎯

关键要点

oBeaver 是一个本地运行大语言模型的工具，旨在避免云端数据传输。
oBeaver 基于 ONNX Runtime，支持多平台和 NPU 加速，提供简便的模型转换和推理功能。
oBeaver 兼容 OpenAI API，能够与多种工具无缝集成。
oBeaver 集成了 Microsoft Foundry Local 和 ONNX Runtime，适用于 macOS、Windows 和 Linux。
oBeaver 支持文本对话、向量嵌入和视觉语言等多种场景。
oBeaver 目前仅支持 CPU 推理，但未来将增强 GPU 和 NPU 支持。
oBeaver 提供了 Docker 镜像，支持在无界面服务器和 Kubernetes 集群中运行。
oBeaver 内置了 Web Dashboard，方便用户进行模型评估和性能对比。

🔎

延伸解读

本地推理的优势

oBeaver 允许用户在本地运行大语言模型，避免了数据传输到云端的风险。这对于需要保护敏感数据的企业和个人尤为重要，尤其是在数据隐私法规日益严格的背景下。

与其他工具的比较

oBeaver 与 Ollama 等工具相比，采用了不同的技术路径。Ollama 提供了更简单的使用体验，而 oBeaver 则通过 ONNX Runtime 提供更广泛的设备兼容性和 NPU 加速能力，适合需要高性能和灵活性的用户。

未来发展方向

目前，oBeaver 仅支持 CPU 推理，但未来将增强对 GPU 和 NPU 的支持。这一发展将使其在 AI PC 时代中更具竞争力，尤其是随着 NPU 成为标准硬件，oBeaver 将能够更好地适应市场需求。

❓

延伸问答

oBeaver 是什么？

oBeaver 是一个本地运行大语言模型的工具，旨在避免云端数据传输。

oBeaver 如何支持多平台？

oBeaver 基于 ONNX Runtime，支持 macOS、Windows 和 Linux 等多平台。

oBeaver 的主要功能有哪些？

oBeaver 提供模型转换、推理功能，支持文本对话、向量嵌入和视觉语言等多种场景。

oBeaver 如何与 OpenAI API 兼容？

oBeaver 兼容 OpenAI API，用户只需修改 base_url 即可将现有代码与 oBeaver 连接。

oBeaver 的双引擎设计有什么优势？

双引擎设计结合了 Microsoft Foundry Local 和 ONNX Runtime，提供更广泛的模型选择和平台支持。

oBeaver 目前支持哪些推理后端？

目前 oBeaver 仅支持 CPU 推理，未来将增强对 GPU 和 NPU 的支持。

🏷️