DEV Community
·
用本地LLM替代GitHub Copilot
💡
原文英文，约500词，阅读约需2分钟。
📝
内容提要
作者在开发Glama时尝试了多种AI代码补全工具，最终选择了本地托管的LLM。使用macOS，安装Ollama和VSCode扩展continue.dev后，选用starcoder2:3b模型，因其速度和实用性平衡。优点包括离线使用、隐私保护和无订阅费用，但需一定硬件和手动更新。作者认为本地模型在无网络时表现出色，值得尝试。
🎯
关键要点
- 作者在开发Glama时尝试了多种AI代码补全工具，最终选择了本地托管的LLM。
- 使用macOS，安装Ollama和VSCode扩展continue.dev后，选用starcoder2:3b模型。
- starcoder2:3b模型在速度和实用性之间提供了良好的平衡。
- 本地模型的优点包括离线使用、隐私保护和无订阅费用。
- 本地模型需要一定的硬件支持和手动更新。
- 作者认为本地模型在无网络时表现出色，值得尝试。
- 初始设置时间较长，需要一定的技术知识。
- 本地LLM可能对硬件要求较高，通常模型规模小于云端模型。
- 作者对依赖互联网的服务如GitHub Copilot感到不满，认为本地模型是一个巨大的胜利。
- 如果不介意依赖互联网，Supermaven等服务仍然值得考虑。
➡️
