突破ChatGPT的知识限制

本文讨论了突破ChatGPT知识限制的方法，包括基础模型优化、扩展上下文支持和基于文档搜索的知识扩充。

ChatGPT的局限性在于无法回答未纳入训练数据的知识，影响其在实际工作中的应用。

基础模型优化的可行性受到新数据质量、学习率调整和计算资源等多方面的限制。

增加上下文支持能力可以让ChatGPT处理更多背景知识，但面临显存消耗、计算复杂度和长期依赖问题。

基于文档搜索的知识扩充是目前可操作性更强的方案，通过向量化文档和问题来提高模型的知识获取能力。

尽管基于搜索的方案看似最佳，但实际效果可能受到文档切分、搜索漏掉关键文档等因素的影响。

未来大语言模型的应用可能是每个人、团队和公司都有一个模型，以更精准地解决问题。

了解机器学习技术的原理有助于形成对AI的理性认知。