使用ASP支架的LLM中符合预测的实证研究以增强稳健推理

本研究解决了开放权重大型语言模型在复杂多步骤推理任务中的性能不足问题。通过结合符合语言建模和答案集编程，利用StepGame数据集生成ASP程序，研究发现该方法在推理复杂度的各个层次上显著提高了准确性，尤其在评估结构和逻辑正确的ASP输出方面。然而，对于需要更长推理步骤的任务，使用多样的校准集对CLM的可推广性提升并无改善，指出了处理复杂任务的局限性。