BriefGPT - AI 论文速递 · 2024-06-06T00:00:00Z

DICE：检测数学推理中 LLM 微调阶段的内分布污染

📝

内容提要

该研究提出了一种名为 DICE 的新方法，通过使用大型语言模型的内部状态来检测分布内的污染，该方法在各种大型语言模型和数学推理数据集上具有高准确性，指出分布内的污染问题可能导致对现有模型真实能力的过高估计。

🏷️

标签

llm 微调