大语言模型解除学习的潜在表征引导效应

BriefGPT - AI 论文速递 · 2024-08-12T00:00:00Z

本研究综合研究了预训练大语言模型的机器遗忘，提出了‘被遗忘权’概念，并建立了机器遗忘性能的鲁棒基准。研究发现梯度上升与梯度下降相结合可以提高超参数的稳健性，并提供了高效超参数调整的指南。这些发现推动了关于道德AI实践的讨论，为预训练大语言模型的机器遗忘机制提供了实质性的见解。