本文探讨了大型语言模型（LLMs）在多项选择问答（MCQA）任务中的能力提升，提出了基于LLMs的McL-KBQA框架，结合自然提示方法提高问答的有效性和泛化性能。研究指出，现有评估机制未能充分反映LLMs的真实能力，建议在使用MCQ评估前需谨慎测试模型的任务理解能力。

研究表明，链式思维（CoT）在大型语言模型（LLMs）的推理能力中至关重要。增加推理步骤的长度显著提升模型性能，且即使方法不当，只要步骤足够，仍可获得良好结果。此外，提出的简洁思路链（CCoT）在多项选择问答中有效减少回答长度，且对性能影响微小。这些发现为AI系统工程师提供了实用指导。

我们发布了TMMLU+，这是一个为传统中文大规模多任务语言理解数据集而设计的全面数据集。TMMLU+是一个多项选择问答数据集，包括66个学科。与其前身TMMLU相比，TMMLU+的规模增加了六倍，学科分布更加平衡。我们公开发布了我们的数据集和相应的基准源代码。

本文评估了简洁的思路链提示对GPT-3.5和GPT-4在多项选择问答基准上的影响。结果显示，CCoT使得回答长度减少了48.70%，对问题解决性能影响微乎其微。然而，在数学问题上，使用CCoT的GPT-3.5表现出了27.69%的性能惩罚。总体而言，CCoT降低了每个标记的成本平均22.67%。这些结果对于AI系统工程师和LLM研究人员具有实际意义。