基于昇腾计算语言AscendCL开发AI推理应用
原文中文,约6900字,阅读约需17分钟。
📝
内容提要
AscendCL提供了统一的API框架,支持同步模型执行和异步模型执行,支持动态Batch、动态分辨率等特性,模型推理时需要准备模型的输入、输出数据结构,并存放好模型执行的输入数据,推理结束后需要卸载模型,释放模型描述信息、工作内存和权值内存。更多知识可以在昇腾社区在线课程、昇腾论坛和昇腾CANN样例仓获取。
🏷️