最近在端侧部署小参数模型进行自动化操作时,发现qwen30b-a3b模型效果优于ollama模型。使用OllamaSharp调用ollama模型时,参数定义存在问题,引用类型或嵌套会导致上下文丢失,建议使用Microsoft.Extensions.AI.OpenAI。
在端侧部署小参数模型时,qwen30b-a3b模型效果优于ollama模型。使用C#调用ollama模型时,参数定义存在问题,引用类型或嵌套会导致上下文丢失。建议使用Microsoft.Extensions.AI.OpenAI,ollama部分兼容OpenAI格式请求。
完成下面两步后,将自动完成登录并继续当前操作。