uTeBC-NLP 在 SemEval-2024 任务 9 中：LLMs 能否成为横向思考者？
内容提要
本研究探讨了大型语言模型在问答质量和信息整合方面的潜力，发现模型在侧向思考中存在困难。通过不同提示方法评估模型表现，结果显示 ChatGPT 优于其他模型。研究提出了跨语言思维提示（XLT）和 Active-Prompt 方法，以提高多语言能力和任务适应性，显著改善推理和理解性能。
延伸解读
横向思维：LLMs 的短板
文章指出，大部分语言模型在运用侧向思考时存在困难，这通过 BRAINTEASER 任务得到验证。该任务测试模型打破默认常识关联的能力，结果显示现有模型与人类表现存在显著差距，尤其在对抗性格式的一致性上。这表明横向思维是当前 LLMs 的一项挑战，对于开发高效 AI 助手至关重要。
提示方法：从 CoT 到 XLT 与 Active-Prompt
研究采用了多种提示技术来提升模型表现。跨语言思维提示（XLT）通过激发跨语言和逻辑推理技能，显著提高了多语言任务的性能，并缩小了不同语言间的性能差距。Active-Prompt 则通过任务特定的示例提示适应不同任务，在八项复杂推理任务上取得了最新成果。这些方法展示了提示工程在释放模型潜力方面的有效性。
模型表现：ChatGPT 领先，但仍有提升空间
在评估中，ChatGPT 表现出色，科恩卡帕分数达到 0.53，优于其他模型。然而，整体而言，模型在横向思维任务上仍与人类有较大差距。通过分步提示等迭代方法，模型在复杂推理任务中有所改进，例如在字谜题子任务中获得第二名。这表明尽管专有模型表现合理，但开源模型和所有模型在侧向思考方面仍需进一步优化。
Q&A
大型语言模型在问答质量方面的表现如何？
研究发现，大型语言模型在问答提问质量和信息整合方面具有潜力，但大部分模型在侧向思考时存在困难。
ChatGPT在评估中表现如何？
ChatGPT在评估中表现优异，科恩卡帕分数达到0.53，优于其他模型。
什么是跨语言思维提示（XLT）？
跨语言思维提示（XLT）是一种方法，通过激发跨语言和逻辑推理技能，改善大型语言模型的多语言能力。
Active-Prompt方法的主要特点是什么？
Active-Prompt方法通过任务特定的示例提示来适应不同任务，并通过选择最不确定的问题进行注释来提高模型表现。
研究中使用了哪些提示方法来评估模型表现？
研究中使用了CoT提示、跨语言思维提示（XLT）和Active-Prompt等方法来评估模型表现。
大型语言模型在复杂推理任务中的表现如何？
通过分步提示的迭代方法，模型在复杂推理任务中表现出色，证明了它们具备处理复杂推理的能力。
