本地文档问答引擎支持基于本地大量文件提问并获取答案,完全离线运行,保障隐私安全。与需指定文档的anythingLLM及仅提供搜索的qmd不同,它整合多文件回答。首次使用需下载嵌入、重排及推理模型,如Xenova/bge-small-zh-v1.5、BAAI/bge-reranker-base和Qwen2.5-3B。
自言卡是一款Windows桌面应用,允许用户自定义文字内容并随机显示。支持更换背景、字体和颜色,完全离线运行,无需注册。用户可设置置顶或底部显示,方便记录任务。该软件免费开源,简单易用。
Gemma 4 12B是一个开源的多模态AI模型,能够在普通笔记本上离线运行。它可以生成C++游戏、3D打印机模拟器和现代网页,表现超出预期。其架构设计简化了信息处理,降低了内存需求,使普通开发者也能轻松使用。这一模型的推出标志着AI技术的普及,降低了使用门槛,吸引更多人参与AI开发。
随着工业自动化的发展,语音技术逐渐应用于工业场景。本文介绍了一款基于C#开发的轻量级语音播报工具,适用于设备状态播报、操作指引和安全警报,支持离线运行,确保在弱网环境下的可靠性。试点项目有效降低了操作错误率,提高了应急响应速度,展示了其在工业自动化中的应用潜力。
Google推出了开源应用AI Edge Gallery,支持在iPhone和安卓手机上离线运行Gemma 4模型,无需消耗Token。该应用具备对话、图片和语音功能,并提供Tiny Garden和Mobile Actions两个小模型,以增强互动体验。用户可以直接下载相关模型。
Google发布的Gemma 4系列模型全面开源,遵循Apache 2.0协议,允许开发者自由使用和修改。新模型性能显著提升,支持在手机和边缘设备上离线运行,满足数据主权需求,推动AI在医疗和金融等行业的应用。
Leon 是一款开源的个人 AI 助手,支持离线运行以保护用户隐私。它可在本地服务器上部署,支持语音和文字交互,功能可扩展,适用于多种操作系统,用户可根据需求定制技能,确保数据安全。
谷歌DeepMind推出了EmbeddingGemma,一个308M参数的开放嵌入模型,旨在高效地在设备上运行。该模型支持离线检索增强生成、语义搜索和文本分类,适合隐私敏感场景,并在MTEB基准测试中表现优异,支持100多种语言。开发者可根据需求调整输出维度并进行微调。
谷歌发布了Gemma 3n,这是其最新的生成式AI模型,旨在手机等设备上离线运行。Gemma 3n具备音频、图像和文本理解能力,性能优于GPT-4.1 Nano。新架构优化了内存使用和计算效率,支持多模态交互,具备自动语音识别和多语言翻译功能,确保用户隐私。开发者可通过Google AI Studio和Google AI Edge集成该模型。
我开发了一个离线运行的Python脚本——商业计划生成器,解决了隐私和灵活性问题。用户只需提供CSV文件,即可自动生成专业商业计划,支持批量处理和模板自定义,适合独立创业者和顾问,且在GitHub上免费提供。
AI Runner的许可证已从GPL 3更改为Apache 2.0,以鼓励开发者使用。该应用是纯Python编写,支持离线运行AI模型,功能包括聊天机器人、文档交互和AI艺术生成。
Gemma 3 1B是一个小型语言模型,体积仅529MB,适用于移动和Web应用,支持离线运行以保护用户隐私。它具备自然语言接口,能够生成内容和对话。与Gemma 2 2B相比,性能显著提升,适合4GB内存的设备。
微软推出 DeepSeek-R1 7B 和 14B 模型,用户可在 Copilot+PC 上通过本地 NPU 单元离线运行 AI。目前速度较慢,1.5B 版为 40 tokens/秒,14B 版仅 8 tokens/秒,未来将优化并支持更多设备。
LM Studio是一个适合非技术用户的本地大模型工具,提供友好的图形界面和零配置操作,支持多平台。用户可以从Hugging Face等平台下载多种模型,确保隐私并支持离线运行。该工具还支持GPU加速,适合本地AI写作和问答服务。
Firefox Nightly推出新API,支持在浏览器中离线运行机器学习任务,利用Transformers.js和ONNX引擎。该API可用于文本分类、问答和图像识别,确保用户数据安全。开发者可通过“ml” API进行实验和开发。
LocalAI是一个开源项目,支持用户在本地高效运行AI模型,兼容OpenAI API,确保数据隐私,零成本使用,支持离线运行,适合开发者和爱好者。
Sherpa-onnx是一个开源的语音处理库,支持语音识别、合成、说话人和语言识别等任务,兼容多种操作系统和编程语言,支持离线运行,具备高性能和灵活性,适用于多种设备和场景。
AI Runner v3.0发布,全面重写并新增功能,如可定制聊天机器人、命令代理、支持Stable Diffusion XL。该工具基于Python、pyside6和huggingface库构建,支持离线运行且不收集数据。
AI Runner 是一个可以在本地离线运行大型语言模型和稳定扩散艺术模型的程序,适用于低端显卡。经过两年开发,3.0版本即将发布,首次非alpha版本。使用Pyside6和Huggingface库构建,增强安全性和隐私性。未来将支持Linux的Flatpak或Snap,不再支持Windows。
MLC团队推出了WebLLM的手机版本,支持离线运行大型语言模型,但需要较大内存和GPU加速。除了iOS版外,还有Windows/Linux/Mac的CLI版。中文支持良好,iOS Demo程序限额9000人。
完成下面两步后,将自动完成登录并继续当前操作。