InfoQ
·
谷歌增强LiteRT以实现更快的设备端推理
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
LiteRT新版本简化了机器学习推理，增强了GPU和NPU加速支持。新API使开发者更易利用加速，模型速度提升25倍，功耗降低5倍，同时优化了推理性能，支持异步执行以减少延迟。
🎯
关键要点
- LiteRT新版本简化了设备上的机器学习推理，增强了GPU加速和对NPU的支持。
- 新API使开发者更容易利用GPU和NPU加速，模型速度提升可达25倍，功耗降低可达5倍。
- LiteRT引入了MLDrift，提供更高效的张量数据组织和智能计算，优化数据传输和转换。
- 针对NPU，LiteRT与高通和联发科技合作，支持其NPU，加速视觉、音频和自然语言处理模型。
- 新API允许开发者在创建编译模型时指定目标后端，简化了开发过程。
- LiteRT引入了TensorBuffer API，消除了GPU和CPU内存之间的数据复制，支持异步执行以减少延迟。
- LiteRT可从GitHub下载，并提供多个示例应用程序以演示其使用方法。
❓
延伸问答
LiteRT的新版本有哪些主要改进？
LiteRT的新版本简化了机器学习推理，增强了GPU和NPU加速支持，模型速度提升25倍，功耗降低5倍。
LiteRT如何支持GPU和NPU加速？
LiteRT通过新API简化了GPU和NPU的使用，允许开发者更容易地利用这些加速器，提高模型性能。
LiteRT的MLDrift功能有什么优势？
MLDrift提供更高效的张量数据组织和智能计算，优化数据传输和转换，提升GPU推理性能。
如何在LiteRT中指定目标后端？
开发者可以使用CompiledModel::Create方法在创建编译模型时指定目标后端，如CPU、GPU或NPU。
LiteRT如何减少推理延迟？
LiteRT支持异步执行和TensorBuffer API，消除了GPU和CPU内存之间的数据复制，从而减少延迟。
LiteRT可以在哪里下载？
LiteRT可以从GitHub下载，并提供多个示例应用程序以演示其使用方法。
➡️
