利用在线奥林匹克级数学问题进行大语言模型训练及抗污染评估

本研究针对现有数据集有限且容易受到污染的问题，提出了一种自动化管道，利用Art of Problem Solving论坛的丰富资源，创建了超过60万对高质量的问答对AoPS-Instruct。研究发现，通过对LLMs进行微调，能显著提高其推理能力，同时开发的LiveAoPSBench提供了抗污染的评估基准，揭示了模型性能随时间衰退的现象。