英伟达发布Nemotron 3.5系列开源模型。旗舰Super VL为1200亿参数多模态模型,准确率媲美最大推理模型,吞吐量快5倍,支持企业定制后训练。同时推出边缘模型Bolt 74B-A9B(24GB)和Bolt E4B(4GB),可在本地RTX设备运行智能体任务。模型覆盖从数据中心到桌面的全场景部署,强调开放权重、数据隐私与定制能力。
该文介绍了一种离线优先的生成式AI参考架构,用于边缘部署。它结合云端的Amazon Bedrock和SageMaker进行模型微调,通过AWS IoT Greengrass部署到边缘设备,并使用Ollama和Strands Agents进行本地推理。混合方法(微调+RAG)在测试中显著提升性能,适用于制造、能源等网络不稳定场景。
Liquid AI推出LFM2.5,基于LFM2架构,专注于设备和边缘部署,支持多种语言和视觉模型。在多个基准测试中表现优异,尤其在文本和日语任务上超越同类模型,适用于多模态应用。
百度在Hugging Face发布了PP-OCRv5,这是一种高效的光学字符识别模型,专注于文本识别,支持多语言,适合边缘部署。尽管对其多语言能力有疑虑,但在手写和印刷文本的基准测试中表现优异。
Remix在现代网页开发中优于Next.js,主要体现在性能、边缘部署和开发者体验。Remix强调服务器渲染和流式传输,减少客户端请求,适合边缘计算,且开发体验更简洁。尽管Next.js生态更大,Remix发展潜力巨大。
本研究提出ClusComp方法,旨在提高大语言模型在边缘部署中的压缩和微调效率。该方法通过聚类权重矩阵并逐块微调,显著提升微调性能。
Vite团队发布Vite 6,新增实验性环境API,支持边缘部署,提升开发体验,兼容非Node.js运行时,简化单页应用和SSR开发。欢迎反馈以优化Vite 7。
OmniAudio-2.6B音频语言模型专为边缘部署设计,解决高延迟和云依赖问题。它结合了Gemma-2-2b和Whisper Turbo,提升了处理速度和资源效率,适用于功率有限的设备,表现出色,适合实时转录和翻译,推动AI技术本地化发展。
风河软件公司推出了eLxr,这是一款用于边缘部署的企业级Linux发行版。它旨在统一边缘设备和云服务器,提供空中更新和预测性维护等功能。eLxr基于Debian,是开源和社区驱动的。它使用Docker和GitLab等现代工具,并遵循Debian的发布周期。风河正在为eLxr提供长期支持。
本文综述多种高效神经网络学习算法:SOLSA实现脉冲网络在线学习,降低内存并提升准确率;ELSA支持稀疏网络的灵活部署;SPL通过语义概率层保证约束一致;SPIRAL提升单层前馈学习的稳健性;Forward-Forward以本地规则逼近皮层学习;此外还有自学习联想存储、自适应集成、SPEDE、LEWEL和SPARTAN,分别改进无标签流、音频任务、表示学习与边缘部署效率。
本文综述了多种轻量级YOLO目标检测改进:Ghost-YOLOv7提升速度至27FPS;SlimYOLOv3经剪枝适配无人机;Q-YOLO采用低位量化利于边缘部署;YOLOv8在障碍物检测中表现最佳;YOLO-Drone擅长夜间无人机检测;YOLO-LITE无需GPU达21FPS;TinyissimoYOLO可在毫瓦级微控制器上实时检测。
本文综述了MoE模型的优化研究,涉及路由波动、过拟合、负载均衡、训练效率和边缘部署等问题,并介绍了StableMoE、拓扑感知路由、动态门控、专家缓存、SpeechMoE、EdgeMoE和SE-MoE等方法,这些方法在语言模型、机器翻译和语音识别任务中提升了性能与效率。
Fly.io最近筹集了7500万美元,旨在构建一个全球快速运行应用的平台。公司希望通过简化边缘部署,让开发者更容易构建高效的全球应用,并计划扩展硬件和区域,以支持更多平台和服务。
完成下面两步后,将自动完成登录并继续当前操作。