国产大语言模型应用能力小测：ReAct COT 能力评测
💡
原文中文，约4300字，阅读约需11分钟。
📝
内容提要
国产大模型的能力日益重要，选择合适的模型进行开发至关重要。在ReAct+COT应用场景下，测试了几个国内知名模型，发现讯飞的表现最好，智谱的表现最差。这些测试是基于官方发布的App进行的，可作为参考选择依据。
🎯
关键要点
- 国产大模型的能力日益重要，选择合适的模型进行开发至关重要。
- 在文生文模型领域，国内有一些知名模型，如百度的文心一言、讯飞的星火等。
- 测试ReAct+COT场景是为了验证模型在复杂场景下的表现。
- 文生文模型通常用于传统客服机器人等场景，但大模型提供更大的灵活性。
- 动态加载私有知识可以提高大模型的回答准确性。
- 加载私有知识到上下文的挑战在于token消耗和响应速度。
- 针对没有原生支持function calling的模型，可以采用ReAct方式进行提示词构造。
- 通过ReAct提示词测试，讯飞表现最好，智谱表现最差。
- 测试结果基于官方发布的App，实际底层模型性能可能有所差异。
➡️
