OpenVINO 2024.2版本分为基础包与生成式AI支持包,支持多种LLM加载与推理部署能力。建议从Hugging Face框架开始,然后与OpenVINO API一起使用。LLM推理API支持大型语言模型的部署。安装包下载地址:https://docs.openvino.ai/install。
完成下面两步后,将自动完成登录并继续当前操作。