ollama 0.12.11 带来 Vulkan 加速功能

ollama 0.12.11 带来 Vulkan 加速功能

💡 原文中文,约700字,阅读约需2分钟。
📝

内容提要

ollama 0.12.11 版本发布,新增 Vulkan API 支持,提升旧款 AMD 显卡性能,增加 Logprobs API 和 WebP 图像格式,优化渲染性能,优先使用独立显卡。

🎯

关键要点

  • ollama 0.12.11 版本发布,新增 Vulkan API 支持。
  • 通过设置环境变量 OLLAMA_VULKAN=1 启用 Vulkan API 支持。
  • Vulkan API 支持为旧款 AMD 显卡和未安装 ROCm 的 AMD 配置提供便利。
  • 在某些场景下,Vulkan 的运行效率优于 ROCm 等方案。
  • 新增对 Logprobs 的 API 支持,支持 WebP 图像格式。
  • 提升渲染性能,优先使用独立显卡而非集成显卡。
  • 包含其他多项修复与增强,更多详情请访问 GitHub。
➡️

继续阅读