内容提要
谷歌推出LiteRT的新加速器QNN，显著提升高通Snapdragon 8 SoC设备的AI性能。QNN在CPU上速度提升可达100倍，GPU提升10倍，支持90种LiteRT操作，优化LLM性能。在72个ML模型中，有64个成功实现NPU全委托，极大改善用户体验。
关键要点
-
谷歌推出了LiteRT的新加速器QNN，提升高通Snapdragon 8 SoC设备的AI性能。
-
QNN在CPU上速度提升可达100倍，GPU提升10倍，支持90种LiteRT操作。
-
QNN旨在优化LLM性能，提供统一简化的工作流程。
-
在72个ML模型中，有64个成功实现NPU全委托，显著改善用户体验。
-
在Snapdragon 8 Elite Gen 5 SoC上，56个模型在NPU上运行时间低于5毫秒，而CPU上仅有13个模型达到该标准。
-
谷歌开发了一个概念应用，利用优化后的Apple FastVLM-0.5B模型，能够几乎即时解释相机的实时场景。
-
QNN目前仅支持部分Android硬件，主要是Snapdragon 8和Snapdragon 8+ SoC设备。
延伸问答
LiteRT加速器QNN的主要功能是什么？
LiteRT加速器QNN主要用于提升高通Snapdragon 8 SoC设备的AI性能，提供高达100倍的CPU速度提升和10倍的GPU速度提升。
QNN如何改善用户体验？
QNN通过实现64个ML模型的NPU全委托，显著提高了AI任务的处理速度，改善了用户体验。
QNN支持哪些操作？
QNN支持90种LiteRT操作，旨在实现全模型委托以优化性能。
在Snapdragon 8 Elite Gen 5 SoC上，QNN的性能表现如何？
在Snapdragon 8 Elite Gen 5 SoC上，56个模型在NPU上运行时间低于5毫秒，而CPU上仅有13个模型达到该标准。
QNN与之前的TFLite QNN delegate有什么不同？
QNN是谷歌与高通合作开发的替代品，提供统一简化的工作流程，集成了多种SoC编译器和运行时。
QNN目前支持哪些Android设备？
QNN目前仅支持部分Android硬件，主要是Snapdragon 8和Snapdragon 8+ SoC设备。
