Lumos:本地大模型Chrome插件

💡 原文中文,约1000字,阅读约需3分钟。
📝

内容提要

Lumos是一个浏览网页的大模型副驾驶,由本地大语言模型Ollama提供支持。它可以总结问题跟踪网站、论坛和社交媒体上的长主题,总结新闻文章,询问有关业务和产品页面评论的问题,以及询问有关长技术文档的问题。该Chrome扩展程序在本地计算机上完成推理,无需外部服务器支持。用户可以在Docker容器中运行Ollama服务器。

🔎

延伸解读

本地推理与隐私优势

Lumos 的核心特点是推理完全在本地计算机上完成,无需外部服务器支持。这意味着用户浏览的网页内容、提问和总结请求都不会离开本地环境,对于处理敏感信息或注重隐私的用户来说是一个重要优势。同时,由于不依赖云端 API,也避免了网络延迟和潜在的服务费用。

部署与配置要点

使用 Lumos 需要先安装 Ollama 服务器,并确保其正常运行。如果选择在 Docker 容器中运行 Ollama,必须设置 OLLAMA_ORIGINS 环境变量为 chrome-extension://*,以允许 Chrome 扩展访问。此外,可能需要根据实际情况调整 OLLAMA_BASE_URL 的主机和端口配置,确保扩展能正确连接到本地服务。

构建与安装流程

Lumos 是一个开源的 Chrome 扩展,用户需要自行构建和安装。构建过程包括运行 npm test 进行测试,以及 npm run build 生成生产版本到 dist 文件夹。安装时,通过 Chrome 的“加载已解压的扩展”功能加载构建好的扩展。这要求用户具备一定的开发环境配置和命令行操作基础。

❓

Q&A

Lumos 是什么?它有什么作用?

Lumos 是一个浏览网页的大模型副驾驶,由本地大语言模型 Ollama 提供支持。它可以总结问题跟踪网站、论坛和社交媒体上的长主题,总结新闻文章,询问有关业务和产品页面评论的问题,以及询问有关长技术文档的问题。

Lumos 的推理是在本地还是云端进行的?

Lumos 的推理是在本地计算机上完成的,无需任何外部服务器支持。但由于 Chrome 扩展平台的安全限制,该应用程序依赖本地服务器支持来运行 LLM,嵌入数据库和 LLM 推理需要本地 Ollama 服务器。

如何安装和运行 Lumos 所需的 Ollama 服务器?

需要下载并安装 Ollama 和 CLI。Ollama 服务器也可以在 Docker 容器中运行,容器应将 OLLAMA_ORIGINS 环境变量设置为 chrome-extension://*。使用 docker run 命令并加上 -e 标志来设置环境变量,例如:docker run -e OLLAMA_ORIGINS="chrome-extension://*" -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama。

如何构建 Lumos 的 Chrome 扩展程序?

在项目目录中,可以运行 npm test 在交互式监视模式下启动测试运行程序,运行 npm run build 将用于生产的应用程序构建到 dist 文件夹中。构建过程会正确捆绑 React 并优化构建以获得最佳性能,构建被缩小,文件名包含哈希值。

如何安装 Lumos 的 Chrome 插件?

需要加载解压的扩展(load-unpacked)。具体步骤可参考 Chrome 开发者文档中关于加载解压扩展的指南。

Lumos 可以处理哪些类型的内容?

Lumos 可以总结问题跟踪网站、论坛和社交媒体网站上的长主题,总结新闻文章,询问有关业务和产品页面评论的问题,以及询问有关长技术文档的问题。

🏷️

标签

➡️

继续阅读