大型语言模型的最佳角色是 “有帮助的助理” 吗?对系统提示中社交角色的系统评估
原文中文,约300字,阅读约需1分钟。发表于: 。通过对三种热门大型语言模型和 2457 个问题进行广泛的分析,我们发现在系统提示中添加人际角色可以持续地提高模型在各种问题上的性能。此外,我们还发现使用中性角色并将其指定为受众可以获得更好的性能,同时预测哪种角色可以获得最佳的性能仍然是一个具有挑战性的任务,频率、相似度和困惑度不能完全解释社会角色对模型性能的影响。这些结果可以帮助指导 AI 系统的系统提示设计。
通过对三种热门大型语言模型和2457个问题进行广泛的分析,发现在系统提示中添加人际角色可以持续地提高模型性能。使用中性角色并将其指定为受众可以获得更好的性能。预测哪种角色可以获得最佳性能仍是具有挑战性的任务。这些结果可以指导AI系统的系统提示设计。