PISTOL: LLMs 结构解学的数据集编译流程
原文中文，约400字，阅读约需1分钟。发表于：。为了推动现有 LLMs 遗忘方法的发展并解决其局限性，本文提出了 PISTOL 管道来编制多场景数据集用于基准测试结构化 LLMs 遗忘，并使用 PISTOL 生成的样本数据集进行了四种不同遗忘方法在 Llama2-7B 和 Mistral-7B...
本文介绍了PISTOL管道，用于测试结构化LLMs遗忘方法。通过在Llama2-7B和Mistral-7B模型上进行基准测试，揭示了移除高度相互连接的数据、批处理数据或偏向特定领域的数据时所面临的挑战，并强调了预训练模型选择对遗忘效果的影响。该工作推动了对LLMs遗忘方法局限性的理解，并提出了未来的研究方向。
