该研究旨在通过预测模型更新后被遗忘的上游示例来提高语言模型的可解释性。他们提出了一种部分可解释的预测模型，并展示了基于示例表示内积的黑盒分类器在预测性能上的优势。通过回放被预测将被遗忘的示例，他们减少了上游预训练示例的遗忘，证明了预测示例遗忘的实际应用效用。