AI对齐旨在使大模型输出符合人类价值观，但实际训练依赖评分员主观打分，易导致奖励黑客、目标错配等问题。价值观定义模糊，评分员偏见使模型刷分而非真正理解。对齐本质是局部优化，由少数人划定标准，存在盲区，难以完美解决。