本文探讨了大型语言模型（LLMs）与人类偏好对齐的研究，提出了基于强化学习的优化方法和评估基准。介绍了多语言指导调整系统Okapi和角色扮演能力增强框架RoleLLM，展示了在角色对齐和长上下文处理上的改进，并提出了数据雕塑框架以提升长上下文训练性能。

本文综述大语言模型人类偏好对齐方法，针对强化学习与直接偏好优化的局限，提出MEET、MODPO、APO、LiPO-λ、CPO、DR-CPO、PRO、RPO及主动学习等新方法，通过改进控制标记、多目标优化、对抗博弈、排名优化和对比加权等策略，提升模型帮助性、无害性与可控生成质量，并降低计算成本。

本文综述大语言模型与扩散模型中的人类偏好对齐研究，涵盖奖励建模、DPO、RLHF、隐私保护及分布偏移等，并提出Diffusion-DPO，将直接偏好优化用于扩散模型，经85.1万成对偏好微调SDXL-1.0，显著提升视觉吸引力与提示对齐。

通过表征工程可实现大模型的人类偏好对齐并精准控制行为。研究发现，对齐会使指令模型推理性能下降4%至33%，暴露其固有局限；对抗攻击下模型仍脆弱，仅靠对齐不足，需结合多模态概念。世界表示与人类相似度呈U形关系，高相似模型更鲁棒。开源模型易被引导生成有害内容，需加强缓解策略。

本文综述基于人类反馈的强化学习（RLHF）的原理与应用：RRHF通过排名损失使语言模型输出与人类偏好对齐；HERON用决策树训练偏好奖励模型；研究评估奖励模型对分布偏移的鲁棒性，提出KL散度平方根与奖励的近似线性关系，并探讨奖励、策略与评估模型间的目标不匹配问题；Fine-Grained RLHF框架可对长文本提供细化反馈，减少虚假、有毒输出。

本文综述大语言模型与扩散模型的人类偏好对齐方法。研究指出对齐可能损害指令模型推理性能；提出Diffusion-DPO，将DPO适配扩散模型，用85.1万偏好对微调SDXL，显著提升视觉吸引力与提示对齐；对比式后训练可持续改进LLM对齐并提升Orca性能；还提出MEET、MODPO、APO等高效对齐方法。