谷歌增强LiteRT以实现更快的设备端推理
原文英文，约500词，阅读约需2分钟。
📝
内容提要
LiteRT新版本简化了机器学习推理，增强了GPU和NPU加速支持。新API使开发者更易利用加速，模型速度提升25倍，功耗降低5倍，同时优化了推理性能，支持异步执行以减少延迟。
🔎
延伸解读
GPU与NPU加速的优势
LiteRT的新版本显著提升了GPU和NPU的加速能力，使得机器学习模型的推理速度可提升至25倍，同时功耗降低至5倍。这对于需要高效能和低功耗的移动设备应用尤为重要，开发者应关注如何利用这些加速特性来优化自己的应用。
简化开发流程的API
新引入的API允许开发者在创建编译模型时直接指定目标后端，简化了开发流程。这一变化减少了对不同后端的复杂处理，使得开发者能够更专注于模型的优化和应用的实现，提升了开发效率。
TensorBuffer API的作用
LiteRT引入的TensorBuffer API消除了GPU和CPU内存之间的数据复制，优化了内存使用。这一特性在内存或处理器受限的环境中尤为重要，能够有效降低延迟，提升推理性能，开发者应考虑在资源受限的设备上应用这一优化。
❓
Q&A
LiteRT的新版本有哪些主要改进？
LiteRT的新版本简化了机器学习推理，增强了GPU和NPU加速支持，模型速度提升25倍，功耗降低5倍。
LiteRT如何支持GPU和NPU加速？
LiteRT通过新API简化了GPU和NPU的使用，允许开发者更容易地利用这些加速器，提高模型性能。
LiteRT的MLDrift功能有什么优势？
MLDrift提供更高效的张量数据组织和智能计算，优化数据传输和转换，提升GPU推理性能。
如何在LiteRT中指定目标后端？
开发者可以使用CompiledModel::Create方法在创建编译模型时指定目标后端，如CPU、GPU或NPU。
LiteRT如何减少推理延迟？
LiteRT支持异步执行和TensorBuffer API，消除了GPU和CPU内存之间的数据复制，从而减少延迟。
LiteRT可以在哪里下载？
LiteRT可以从GitHub下载，并提供多个示例应用程序以演示其使用方法。
🏷️
