谷歌发布开源多模态嵌入模型EmbeddingGemma 2,参数7.4亿,可将文本、代码、图像、视频和音频映射到同一768维向量空间,无需预生成字幕或转录。模型基于Gemma 4,采用Apache 2.0许可,支持端侧部署,上下文窗口8192 token。借助Matryoshka技术,向量可截断至256或128维,节省存储的同时多模态检索质量仍保持约95%。
OpenBMB推出MiniCPM5-2B,采用Llama架构,面向端侧部署。官方评测平均分53.9,达2B级开源领先,部分超4B模型,覆盖代码、数学推理、长文本与工具调用,原生支持131,072 token上下文。HyperAI已上线配套教程,支持在线体验与一键部署。
LFM2.5-2.6B是面向端侧部署的轻量级AI推理模型,支持128K长上下文和智能体工具调用,性能可与大4倍参数模型竞争。在Apple M5 Max上推理速度达220 tok/s,AMD Ryzen CPU上113 tok/s,内存占用低于2.5GB,平衡了轻量化与高性能。HyperAI官网已上线该模型,并提供相关数据集、教程和百科词条更新。
清华大学与面壁智能推出的MiniCPM-V 4.0模型,参数减少至4.1B,提升了移动端图像理解能力,并支持iOS应用,推动了端侧部署的广泛应用。
PaddleX 3.0-beta1版本在AI模型部署方面进行了重要升级,提供高性能推理、服务化部署和端侧部署解决方案,以满足多样化的应用需求。高性能推理插件提升了模型推理速度,服务化部署增强了系统灵活性,端侧部署支持在用户设备上运行,确保快速响应和隐私保护。
完成下面两步后,将自动完成登录并继续当前操作。