个性化RLHF的共享低秩适应方法

本研究解决了传统RLHF框架假设人类偏好同质性的问题，导致个性化场景适应性不足。通过将低秩适应（LoRA）引入个性化RLHF框架，本研究提出了一种有效的学习个性化奖励模型的方法，能够在有限的本地数据集上进行训练。实验结果显示，该方法能有效捕捉人类偏好的共享和个体结构，提升个性化体验。