💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
谷歌推出LiteRT的新加速器QNN，显著提升高通Snapdragon 8 SoC设备的AI性能。QNN在CPU上速度提升可达100倍，GPU提升10倍，支持90种LiteRT操作，优化LLM性能。在72个ML模型中，有64个成功实现NPU全委托，极大改善用户体验。
🎯
关键要点
- 谷歌推出了LiteRT的新加速器QNN，提升高通Snapdragon 8 SoC设备的AI性能。
- QNN在CPU上速度提升可达100倍，GPU提升10倍，支持90种LiteRT操作。
- QNN旨在优化LLM性能，提供统一简化的工作流程。
- 在72个ML模型中，有64个成功实现NPU全委托，显著改善用户体验。
- 在Snapdragon 8 Elite Gen 5 SoC上，56个模型在NPU上运行时间低于5毫秒，而CPU上仅有13个模型达到该标准。
- 谷歌开发了一个概念应用，利用优化后的Apple FastVLM-0.5B模型，能够几乎即时解释相机的实时场景。
- QNN目前仅支持部分Android硬件，主要是Snapdragon 8和Snapdragon 8+ SoC设备。
🏷️
标签
➡️
