InfoQ
·
谷歌的新LiteRT加速器为高通Snapdragon驱动的Android设备提供强劲的AI工作负载支持
内容提要
谷歌推出LiteRT的新加速器QNN，显著提升高通Snapdragon 8 SoC设备的AI性能。QNN在CPU上速度提升可达100倍，GPU提升10倍，支持90种LiteRT操作，优化LLM性能。在72个ML模型中，有64个成功实现NPU全委托，极大改善用户体验。
关键要点
-
谷歌推出了LiteRT的新加速器QNN，提升高通Snapdragon 8 SoC设备的AI性能。
-
QNN在CPU上速度提升可达100倍，GPU提升10倍，支持90种LiteRT操作。
-
QNN旨在优化LLM性能，提供统一简化的工作流程。
-
在72个ML模型中，有64个成功实现NPU全委托，显著改善用户体验。
-
在Snapdragon 8 Elite Gen 5 SoC上，56个模型在NPU上运行时间低于5毫秒，而CPU上仅有13个模型达到该标准。
-
谷歌开发了一个概念应用，利用优化后的Apple FastVLM-0.5B模型，能够几乎即时解释相机的实时场景。
-
QNN目前仅支持部分Android硬件，主要是Snapdragon 8和Snapdragon 8+ SoC设备。
延伸解读
AI性能提升的实际意义
谷歌的LiteRT加速器QNN为高通Snapdragon 8 SoC设备带来了显著的AI性能提升，CPU速度提升可达100倍，GPU提升10倍。这意味着开发者可以在移动设备上实现更复杂的AI应用，如实时图像处理和文本生成，提升用户体验。
NPU的优势与应用
NPU作为专门设计的AI加速器，相比于GPU在处理AI工作负载时具有更高的效率和更低的功耗。QNN的推出使得64个ML模型成功实现全NPU委托，表明NPU在移动设备上的应用潜力巨大，能够支持更流畅的实时AI体验。
硬件兼容性限制
需要注意的是，QNN目前仅支持Snapdragon 8和Snapdragon 8+ SoC设备，这限制了其应用范围。开发者在选择硬件时需考虑这一点，以确保能够充分利用QNN带来的性能提升。
延伸问答
LiteRT加速器QNN的主要功能是什么？
LiteRT加速器QNN主要用于提升高通Snapdragon 8 SoC设备的AI性能，提供高达100倍的CPU速度提升和10倍的GPU速度提升。
QNN如何改善用户体验？
QNN通过实现64个ML模型的NPU全委托，显著提高了AI任务的处理速度，改善了用户体验。
QNN支持哪些操作？
QNN支持90种LiteRT操作，旨在实现全模型委托以优化性能。
在Snapdragon 8 Elite Gen 5 SoC上，QNN的性能表现如何？
在Snapdragon 8 Elite Gen 5 SoC上，56个模型在NPU上运行时间低于5毫秒，而CPU上仅有13个模型达到该标准。
QNN与之前的TFLite QNN delegate有什么不同？
QNN是谷歌与高通合作开发的替代品，提供统一简化的工作流程，集成了多种SoC编译器和运行时。
QNN目前支持哪些Android设备？
QNN目前仅支持部分Android硬件，主要是Snapdragon 8和Snapdragon 8+ SoC设备。
