本研究提出UniCBE框架，解决了基于比较的评估方法在优化单一目标时偏好信号利用不足的问题。通过整合三个解耦的采样概率矩阵，显著提高了评估的准确性和收敛性，节省了17%的评估预算，表现优异。

本研究提出自我引导优化（SSO）算法，解决自动对齐中缺乏人类标注偏好信号的问题。SSO通过迭代训练自动生成高质量偏好信号，显著提升基础模型性能，支持奖励模型优化。