本文介绍了如何在C# dotnet的控制台应用中使用DirectML运行Phi-3模型。通过DirectML可以方便地在用户机器上部署Phi-3模型,并利用机器设备资源。文章提供了具体的代码示例,并建议将模型文件放入项目输出文件夹中以便其他人使用。
微软发布DirectML开发者预览版,支持NPU加速,目前仅支持英特尔酷睿Ultra系列处理器,未来可能支持其他品牌芯片。该版本仅兼容特定机器学习模型,存在延迟和准确度问题。
完成下面两步后,将自动完成登录并继续当前操作。