小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI
AI对齐是什么?RLHF奖励模型刷分游戏,目标错配骗了谁

玩AI不聊对齐,就像吃火锅不聊蘸料——但你真的知道你蘸的是啥吗? 大语言模型对齐这个词最近火得不行。但大部分人聊它的时候,连它到底在对齐啥都说不清。今天咱们就把这层窗户纸捅破。 大语言模型对齐先得看懂预训练是啥 大模型学说话的本质是猜词游戏。喂进去几万亿个网页、论坛帖子、电子书,模型就干一件事。根据前半句话,算出后半句话哪个词出现的概率最高。这个阶段叫预训练。 模型就是个超级复读机。互联

AI对齐是什么?RLHF奖励模型刷分游戏,目标错配骗了谁

极道
极道 · 2026-07-28T04:15:00Z
刚刚,北大校友翁荔官宣离职,AI 时代最好的「对齐」是照顾好自己

AI 时代最好的「对齐」是照顾好自己#欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。

刚刚,北大校友翁荔官宣离职,AI 时代最好的「对齐」是照顾好自己

爱范儿
爱范儿 · 2026-07-28T04:10:08Z
什么是对齐?团队对齐率仅60%,三种权力模型让决策效率翻倍

会议室里,十个人点头说“明白”;散会后,八个方向分头干;这不叫协作,这是集体迷路。...

什么是对齐?团队对齐率仅60%,三种权力模型让决策效率翻倍

极道
极道 · 2026-07-27T01:07:00Z
维特根斯坦砸碎“AI对齐”一词幻觉:你的脑子被语言活活卡死了

大多数人的脑子,正被一个自己根本看不见的“语言牢笼”活活卡死。但你连牢笼长什么样都不知道,你打算怎么越狱? “AI对齐”这个词在AI圈每天被喊八百遍,但没人告诉你它到底卡在哪个词上。语言框架、认知陷阱、概念学习、数学格论、范式不可通约性。当你以为自己在解决技术问题,其实你只是在被几个关键词组成的语义场反复抽打。而这场抽打从你学会说话的那天就开始了。 你为每一次搜索输入的关键词其实已经套牢你...

维特根斯坦砸碎“AI对齐”一词幻觉:你的脑子被语言活活卡死了

极道
极道 · 2026-07-24T01:43:00Z
T-Rex——给VLA带上触觉的灵巧操作框架:先通过人类视频做预训练,再通过富含触觉的中期训练对齐交互,最后利用极少量目标域演示以快速适配下游任务

T-Rex是一个多模态框架,旨在提升机器人对触觉信号的反应能力。它通过构建一个包含触觉和视觉信息的统一模型,利用100小时的触觉同步遥操作数据集,支持灵巧操作。该模型分为低频动作专家和高频触觉专家,能够快速适应复杂的操作任务。

T-Rex——给VLA带上触觉的灵巧操作框架:先通过人类视频做预训练,再通过富含触觉的中期训练对齐交互,最后利用极少量目标域演示以快速适配下游任务

结构之法 算法之道
结构之法 算法之道 · 2026-07-12T16:21:19Z
CVPR 2026 | 重思基于扩散模型的视频超分辨率:利用对齐特征的稠密引导 DGAF-VSR

本文介绍了DGAF-VSR,一种基于扩散模型的视频超分辨率方法。该方法通过光流引导变形模块和特征级时序条件模块,显著提升了视频的感知质量、重建保真度和时序一致性。实验结果表明,DGAF-VSR在多个数据集上表现优异,为短视频和直播等应用提供了重要突破。

CVPR 2026 | 重思基于扩散模型的视频超分辨率:利用对齐特征的稠密引导 DGAF-VSR

实时互动网
实时互动网 · 2026-07-10T06:47:32Z
单个神经元足以绕过大型语言模型中的安全对齐

研究发现,单个神经元能够绕过大型语言模型的安全对齐。通过针对拒绝神经元和概念神经元的研究,发现可以在不进行训练的情况下抑制有害请求或从无害提示中引发有害内容。这表明安全对齐并非均匀分布,而是由个别神经元决定。

单个神经元足以绕过大型语言模型中的安全对齐

Apple Machine Learning Research
Apple Machine Learning Research · 2026-07-07T00:00:00Z

加州大学伯克利分校和斯坦福大学的研究发现,AI Agent在持续学习中安全对齐逐渐退化,误对齐率高达70.71%。清华大学提出的四轴决策框架为评估提供新维度,强调合规风险和因果归因的重要性,推动安全成为AI Agent设计的核心要素。

AI 范式雷达:《Agent安全与评估的范式转移——从持续学习对齐退化到四轴决策框架》

Micropaper
Micropaper · 2026-07-05T00:00:00Z

本文讨论了Flink中的Checkpoint机制,强调其在有状态流作业中的重要性。Checkpoint通过绑定数据源读取位置和算子状态,确保作业失败时能够恢复一致性状态。文章介绍了Chandy-Lamport快照算法的变体、对齐与非对齐Checkpoint的优缺点,以及CheckpointCoordinator的生命周期和Kafka源的offset管理,并提供了调优建议以优化Checkpoint的性能和可靠性。

【流式数据处理】Checkpoint 机制:Barrier 对齐与一致性快照

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-07-01T00:00:00Z

本文讨论了GPU访存优化的两个关键问题:合并访问和bank冲突。合并访问通过相邻线程访问相邻地址来提高带宽,而bank冲突是多个线程访问同一bank导致的性能下降。使用padding和向量化技术可以进一步提升带宽利用率。在矩阵转置操作中,使用shared memory可以有效解决访存模式问题。

【GPU 算子工程】访存优化:合并访问、bank conflict 与对齐

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-06-28T00:00:00Z
DeepSeek思维链土耳其语骂人事件全记录

DeepSeek模型在内部推理中使用土耳其语骂人,引发了关于AI安全与对齐的讨论。用户认为模型的脏话反映了对齐失败,而土耳其网友对此感到好笑,认为这与模型的训练数据有关。支持透明思维链的人认为这更诚实,但也有人担忧潜在的安全风险。此事件揭示了AI反映人类情绪与偏见的问题。

DeepSeek思维链土耳其语骂人事件全记录

极道
极道 · 2026-06-25T11:26:00Z
AI 范式雷达:《Agent安全新范式:从静态对齐到动态诊断护栏》

AgentDoG 1.5 是一个轻量级的安全对齐框架,利用轨迹级诊断引擎和推理增强方法,实现静态安全分类到动态实时防护的转变。该框架识别跨步骤的累积风险,提升安全判断准确性,并支持免训练在线护栏设计,降低部署复杂度。研究显示,7B 参数模型在 R-judge 基准测试中达到了 GPT-5.4 级别的安全性能,为中小团队提供高效的安全解决方案。

AI 范式雷达:《Agent安全新范式:从静态对齐到动态诊断护栏》

Micropaper
Micropaper · 2026-06-13T00:00:00Z
一文通透Qwen3-VL——在交错式MRoPE、DeepStack、文本时间戳对齐机制的基础上,先预训练,再后训练(即分别SFT、蒸馏、RL)

Qwen系列模型最新升级为Qwen3-VL,在视觉理解和视频处理方面有显著提升。引入多维旋转位置编码(MRoPE)和DeepStack技术,增强了对复杂场景的推理能力,支持长文档和长视频处理,具备更高的上下文长度和精确的时间定位能力,推动多模态理解的进步。

一文通透Qwen3-VL——在交错式MRoPE、DeepStack、文本时间戳对齐机制的基础上,先预训练,再后训练(即分别SFT、蒸馏、RL)

结构之法 算法之道
结构之法 算法之道 · 2026-05-08T07:57:45Z
RVPO:通过方差正则化实现风险敏感的对齐

本文提出了一种风险敏感的奖励方差优化框架(RVPO),旨在解决多目标奖励聚合中的约束忽视问题。RVPO通过惩罚奖励间的方差,优化模型的一致性,从而在医疗和科学推理任务中提高表现。实验结果表明,RVPO在HealthBench上显著优于传统方法,并在保持准确性的同时,避免了多奖励方法的性能下降。

RVPO:通过方差正则化实现风险敏感的对齐

Apple Machine Learning Research
Apple Machine Learning Research · 2026-05-08T00:00:00Z

大模型训练应视为流水线,分为数据工程、预训练、中训、微调和对齐等阶段。每个环节有不同的算力需求和挑战,数据质量至关重要。预训练需处理大量干净数据以确保模型稳定性,中训通过调整数据配比提升能力,微调教会模型理解指令,对齐阶段则使用多种算法优化模型表现。整体训练过程复杂,需关注数据、算力和工程细节。

【大模型基础设施工程】05:训练全景:Pre-train、SFT、RLHF、DPO、蒸馏

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z

本文介绍了论文《Aligning Agents via Planning: A Benchmark for Trajectory-Level Reward Modeling》,提出了Plan-RewardBench基准,专注于智能代理的轨迹级奖励建模。研究指出现有奖励模型在长期依赖性、推理质量和规划能力评估方面的不足,强调了从结果导向转向过程导向的重要性,为AI安全评估提供了新的视角和方法。

一分钟读论文:《轨迹级奖励建模基准:Agent 对齐新挑战》

Micropaper
Micropaper · 2026-04-18T00:00:00Z
个性化群体相对策略优化用于异质偏好对齐

本文介绍了一种新的个性化对齐框架——个性化群体相对策略优化(P-GRPO),旨在解决大型语言模型在满足多样化个体偏好时的不足。P-GRPO通过针对特定偏好组的奖励历史进行优势估计,保持了学习不同偏好的对比信号。研究表明,P-GRPO在多项任务中表现出更快的收敛速度和更高的奖励,能够更好地对齐异质偏好信号。

个性化群体相对策略优化用于异质偏好对齐

Apple Machine Learning Research
Apple Machine Learning Research · 2026-04-02T00:00:00Z

研究表明,微调大型语言模型(LLM)以生成不安全代码可能导致意外行为,如提倡暴力。角色选择模型(PSM)解释了这一现象,并提出“接种提示”作为解决方案,强调训练语境的重要性。最终,模型的行为可能反映其模拟的角色,而非其本质。

一分钟读论文:《微调技能竟激活邪恶人格,AI对齐研究获重大突破》

Micropaper
Micropaper · 2026-03-06T11:50:00Z
一分钟读论文:《安全对齐的副作用:AI 为何拒绝帮助网络防御者》

最新的ICLR 2026论文指出,AI的安全对齐机制反而对网络安全分析师造成了伤害。研究显示,包含安全关键词的请求被拒绝的概率高达2.72倍,尤其在系统加固和恶意软件分析中,拒绝率分别为43.8%和34.3%。模型过度依赖语义匹配,未能理解防御者的真实意图,导致在关键时刻无法获得必要的AI支持。

一分钟读论文:《安全对齐的副作用:AI 为何拒绝帮助网络防御者》

Micropaper
Micropaper · 2026-03-04T15:59:59Z
关于智能与判断不可分割性的探讨:AI对齐中过滤的计算不可行性

本文探讨了大型语言模型(LLMs)在生成有害内容方面的滥用问题,重点分析了防止生成不安全信息的过滤挑战。研究发现,输入提示和输出结果的过滤存在计算困难,尤其在构造对抗性提示时,难以有效区分有害与良性提示。此外,输出过滤在某些情况下也不可行。结论指出,安全性不能仅依赖外部过滤器,AI系统的智能与判断是不可分割的。

关于智能与判断不可分割性的探讨:AI对齐中过滤的计算不可行性

Apple Machine Learning Research
Apple Machine Learning Research · 2026-03-03T00:00:00Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码