DEV Community
·
用本地LLM替代GitHub Copilot
内容提要
作者在开发Glama时尝试了多种AI代码补全工具，最终选择了本地托管的LLM。使用macOS，安装Ollama和VSCode扩展continue.dev后，选用starcoder2:3b模型，因其速度和实用性平衡。优点包括离线使用、隐私保护和无订阅费用，但需一定硬件和手动更新。作者认为本地模型在无网络时表现出色，值得尝试。
关键要点
-
作者在开发Glama时尝试了多种AI代码补全工具，最终选择了本地托管的LLM。
-
使用macOS，安装Ollama和VSCode扩展continue.dev后，选用starcoder2:3b模型。
-
starcoder2:3b模型在速度和实用性之间提供了良好的平衡。
-
本地模型的优点包括离线使用、隐私保护和无订阅费用。
-
本地模型需要一定的硬件支持和手动更新。
-
作者认为本地模型在无网络时表现出色，值得尝试。
-
初始设置时间较长，需要一定的技术知识。
-
本地LLM可能对硬件要求较高，通常模型规模小于云端模型。
-
作者对依赖互联网的服务如GitHub Copilot感到不满，认为本地模型是一个巨大的胜利。
-
如果不介意依赖互联网，Supermaven等服务仍然值得考虑。
延伸问答
为什么作者选择本地托管的LLM而不是GitHub Copilot？
作者认为本地模型在无网络时表现出色，且不依赖互联网，提供更好的隐私保护和无订阅费用。
使用本地LLM需要哪些硬件要求？
本地LLM通常需要较强的硬件支持，因为它们资源密集，且模型规模通常小于云端模型。
如何在macOS上设置starcoder2:3b模型？
首先安装Ollama和VSCode扩展continue.dev，然后使用命令'ollama pull starcoder2:3b'下载模型，最后配置VSCode以使用该模型。
本地LLM的优点有哪些？
本地LLM的优点包括离线使用、隐私保护、无订阅费用、定制化能力和一致的性能表现。
使用本地LLM有什么缺点？
缺点包括初始设置时间较长、需要一定的技术知识、硬件要求高以及需要手动更新模型和工具。
作者对Supermaven的看法是什么？
作者认为Supermaven在依赖互联网的情况下表现可靠且速度更快，但如果不想依赖网络，还是推荐使用本地模型。
