c#中ollama ToolCall为什么比较“笨“

c#中ollama ToolCall为什么比较“笨“

💡 原文中文,约400字,阅读约需1分钟。
📝

内容提要

最近在端侧部署小参数模型进行自动化操作时,发现qwen30b-a3b模型效果优于ollama模型。使用OllamaSharp调用ollama模型时,参数定义存在问题,引用类型或嵌套会导致上下文丢失,建议使用Microsoft.Extensions.AI.OpenAI。

🎯

关键要点

  • 在端侧部署小参数模型进行自动化操作时,qwen30b-a3b模型效果优于ollama模型。

  • 使用OllamaSharp调用ollama模型时,参数定义存在问题。

  • 引用类型或嵌套会导致上下文丢失,影响调用效果。

  • 建议使用Microsoft.Extensions.AI.OpenAI作为替代方案。

  • ollama模型部分兼容OpenAI格式的请求。

➡️

继续阅读