该研究提出了一种名为PRO的新型策略，通过将人类偏好排名直接应用于语言模型生成的响应的概率排名，实现了语言模型与人类价值观的对齐。研究结果表明，PRO优于现有的对齐算法，并通过实验达到了与ChatGPT和人类响应相当的结果。

该研究提出了一种名为PRO的新型策略，通过将人类偏好排名直接应用于语言模型生成的响应的概率排名，实现了语言模型与人类价值观的对齐。研究结果表明，PRO优于现有的对齐算法，并通过实验达到了与ChatGPT和人类响应相当的结果。