快速、可预测且自托管的AI代码补全
内容提要
本文介绍了如何自主托管一个快速可靠的代码补全AI模型，并分享了修改代码补全设置的方法。作者提供了安装和配置插件的步骤，并分享了电脑配置和性能测试结果。
延伸解读
自托管代码补全的动机与优势
作者从Copilot等云端代码补全工具出发，提出通过自托管避免网络延迟的设想。自托管模型在本地运行，不依赖网络请求，因此响应速度更快且可预测。作者最终选择Ollama作为托管工具，因其简化了本地模型的管理和调用。这一方案适合对延迟敏感、希望数据留在本地的开发者。
模型选择：小参数与领域专精的权衡
作者尝试了Codellama、Deepseeker和Starcoder，但发现它们对于代码补全任务较慢。于是转向参数量极小的codegpt/deepseek-coder-1.3b-typescript模型，该模型基于deepseek-coder并仅用TypeScript代码片段微调。虽然低参数量通常导致输出质量下降，但通过领域专精，它在TypeScript补全上表现快速且可用。
关键设置：降低幻觉与保持可预测性
为减少模型幻觉，作者调整了温度、topP、topK等参数。温度设为0.2，高于0.25则幻觉增多；topP=0.15、topK=5进一步限制随机性。presencePenalty和frequencyPenalty设为0.1，允许模型适当重复，这对代码补全有益。stop设置为["; ", "} "]针对TypeScript，maxTokens=200限制生成长度，避免难以检查的长代码。
硬件影响与持续调优
作者使用Macbook M1 Max（64GB RAM）并指出电脑配置影响性能。虽然未提供具体性能数据，但强调硬件对自托管模型运行速度的重要性。作者表示会继续调整设置并测试新模型，并期待量化版本以进一步提升性能。这表明自托管方案需要根据硬件和需求持续优化。
Q&A
如何自托管一个代码补全AI模型？
可以通过安装Ollama并选择合适的模型来实现自托管，具体步骤包括下载模型和配置设置。
选择哪个模型进行代码补全比较好？
推荐使用codegpt/deepseek-coder-1.3b-typescript模型，因为它参数较少且专注于TypeScript代码片段。
如何调整代码补全的设置以减少幻觉现象？
可以通过修改温度、topP等参数来调整代码补全设置，以减少模型的幻觉现象。
在VScode中如何使用Continue扩展与Ollama对接？
在VScode中安装Continue扩展后，配置本地设置并选择Ollama作为模型提供者即可对接。
自托管AI模型的优势是什么？
自托管AI模型可以避免网络延迟，从而提高代码补全的速度和可靠性。
个人电脑配置对AI模型性能有何影响？
个人电脑的配置，如内存和处理器性能，会直接影响AI模型的运行速度和响应时间。
