小红花·文摘
  • 首页
  • 广场
  • 排行榜🏆
  • 直播
  • FAQ
Dify.AI

大模型训练应视为流水线,分为数据工程、预训练、中训、微调和对齐等阶段。每个环节有不同的算力需求和挑战,数据质量至关重要。预训练需处理大量干净数据以确保模型稳定性,中训通过调整数据配比提升能力,微调教会模型理解指令,对齐阶段则使用多种算法优化模型表现。整体训练过程复杂,需关注数据、算力和工程细节。

【大模型基础设施工程】05:训练全景:Pre-train、SFT、RLHF、DPO、蒸馏

土法炼钢兴趣小组的博客
土法炼钢兴趣小组的博客 · 2026-04-22T00:00:00Z

本文介绍了论文《Aligning Agents via Planning: A Benchmark for Trajectory-Level Reward Modeling》,提出了Plan-RewardBench基准,专注于智能代理的轨迹级奖励建模。研究指出现有奖励模型在长期依赖性、推理质量和规划能力评估方面的不足,强调了从结果导向转向过程导向的重要性,为AI安全评估提供了新的视角和方法。

一分钟读论文:《轨迹级奖励建模基准:Agent 对齐新挑战》

Micropaper
Micropaper · 2026-04-18T00:00:00Z
个性化群体相对策略优化用于异质偏好对齐

本文介绍了一种新的个性化对齐框架——个性化群体相对策略优化(P-GRPO),旨在解决大型语言模型在满足多样化个体偏好时的不足。P-GRPO通过针对特定偏好组的奖励历史进行优势估计,保持了学习不同偏好的对比信号。研究表明,P-GRPO在多项任务中表现出更快的收敛速度和更高的奖励,能够更好地对齐异质偏好信号。

个性化群体相对策略优化用于异质偏好对齐

Apple Machine Learning Research
Apple Machine Learning Research · 2026-04-02T00:00:00Z

研究表明,微调大型语言模型(LLM)以生成不安全代码可能导致意外行为,如提倡暴力。角色选择模型(PSM)解释了这一现象,并提出“接种提示”作为解决方案,强调训练语境的重要性。最终,模型的行为可能反映其模拟的角色,而非其本质。

一分钟读论文:《微调技能竟激活邪恶人格,AI对齐研究获重大突破》

Micropaper
Micropaper · 2026-03-06T11:50:00Z
一分钟读论文:《安全对齐的副作用:AI 为何拒绝帮助网络防御者》

最新的ICLR 2026论文指出,AI的安全对齐机制反而对网络安全分析师造成了伤害。研究显示,包含安全关键词的请求被拒绝的概率高达2.72倍,尤其在系统加固和恶意软件分析中,拒绝率分别为43.8%和34.3%。模型过度依赖语义匹配,未能理解防御者的真实意图,导致在关键时刻无法获得必要的AI支持。

一分钟读论文:《安全对齐的副作用:AI 为何拒绝帮助网络防御者》

Micropaper
Micropaper · 2026-03-04T15:59:59Z
关于智能与判断不可分割性的探讨:AI对齐中过滤的计算不可行性

本文探讨了大型语言模型(LLMs)在生成有害内容方面的滥用问题,重点分析了防止生成不安全信息的过滤挑战。研究发现,输入提示和输出结果的过滤存在计算困难,尤其在构造对抗性提示时,难以有效区分有害与良性提示。此外,输出过滤在某些情况下也不可行。结论指出,安全性不能仅依赖外部过滤器,AI系统的智能与判断是不可分割的。

关于智能与判断不可分割性的探讨:AI对齐中过滤的计算不可行性

Apple Machine Learning Research
Apple Machine Learning Research · 2026-03-03T00:00:00Z

本文探讨了大语言模型代码生成中的规格对齐问题,提出了Specine技术,通过识别错位规格、提取需求和对齐规则,提升代码生成性能近30%。研究强调了清晰需求表述和逐步对齐的重要性。

一分钟读论文:《大语言模型代码生成的规格对齐》

Micropaper
Micropaper · 2026-02-26T16:00:00Z
AMUSE:用于代理多说话者理解的音视频基准与对齐框架

最近的多模态大语言模型(MLLMs)如GPT-4o和Qwen3-Omni在多说话者对话中表现不佳。为此,我们提出了AMUSE基准,以评估模型在复杂音视频交互中的推理能力,并引入RAFT框架,通过奖励优化和自我评估提升模型准确性,实现了39.52%的相对提升。

AMUSE:用于代理多说话者理解的音视频基准与对齐框架

Apple Machine Learning Research
Apple Machine Learning Research · 2026-02-24T00:00:00Z
LLM-ForcedAligner:多语种长语音非自回归强制对齐器

LLM-ForcedAligner是一种基于大语言模型的强制对齐方法,能够准确预测多语言语音的时间戳。该方法通过非自回归推理,解决了传统方法的时间偏移和计算速度慢的问题,支持最长5分钟的语音输入,并具备灵活的时间戳定义能力。实验结果表明,其在多语言场景下的表现优于其他方法。

LLM-ForcedAligner:多语种长语音非自回归强制对齐器

实时互动网
实时互动网 · 2026-02-13T10:20:21Z
AAAI 2026 Oral | 通过视觉安全提示与深度对齐实现大型视觉语言模型的安全对齐

抱歉,您提供的文本内容过于简短,无法进行有效总结。请提供更多信息或更长的文章内容。

AAAI 2026 Oral | 通过视觉安全提示与深度对齐实现大型视觉语言模型的安全对齐

机器之心
机器之心 · 2025-11-24T07:44:00Z
CAR-Flow:条件感知重参数化对齐源和目标以实现更好的流匹配

CAR-Flow是一种条件感知重参数化方法,旨在通过调整源和目标分布来优化流匹配,从而缩短模型学习的概率路径,加快训练速度。在低维合成数据和高维自然图像数据(如ImageNet-256)上,CAR-Flow显著提高了性能,减少了FID值,同时仅增加了不到0.6%的参数。

CAR-Flow:条件感知重参数化对齐源和目标以实现更好的流匹配

Apple Machine Learning Research
Apple Machine Learning Research · 2025-11-12T00:00:00Z
语言模型微调的简要总结

语言模型微调主要通过继续预训练、指令微调和监督微调等方式实现,目标是知识注入和对齐。研究表明,知识主要来自预训练,而对齐可通过小规模高质量数据实现。明确微调目标有助于有效评估结果。

语言模型微调的简要总结

Stack Overflow Blog
Stack Overflow Blog · 2025-10-31T14:00:00Z

新加坡国立大学等机构联合推出EgoTwin,首次实现第一视角视频与人体动作的同步生成,解决了视角-动作对齐与因果耦合的技术难题。该框架基于扩散模型,能够生成一致且连贯的第一人称视频,推动可穿戴计算和AR应用的发展。

首次实现第一视角视频与人体动作同步生成!新框架攻克视角-动作对齐两大技术壁垒

量子位
量子位 · 2025-10-01T01:54:26Z

研究团队提出了Token-Aware Editing (TAE)方法,使大模型在TruthfulQA任务上的真实性指标提升25.8%。该方法通过token级编辑,无需训练,适用于对话系统和内容审核,克服了传统方法的局限性,实现了更精细的对齐干预。实验结果表明,TAE在真实性、有害性和公平性等方面显著优于现有方法。

大模型“精细化”对齐,真实性提升25.8%刷新SOTA!token级精准编辑,无需训练即插即用

量子位
量子位 · 2025-09-27T04:58:47Z

最新研究表明,视觉模型与人脑的相似性受模型大小、训练数据量和图像类型的影响。DINOv3模型在训练中逐步与人脑表征一致,尤其在使用人类相关图像时效果最佳。研究发现,模型学习的表征层级与大脑结构高度一致,不同特征的出现速度也存在差异。

最新研究揭示视觉模型与人脑的对齐机制

量子位
量子位 · 2025-09-02T04:57:59Z

研究团队提出Jet-Nemotron,通过后神经架构搜索优化全注意力模型,显著提高生成吞吐量,同时保持或超越准确率,为高效语言模型设计开辟新路径。

AI 论文周报丨英伟达最新语言模型/Ovis2.5 技术报告……大模型架构优化/3D 建模/对齐与自我验证等最新进展一篇速览

HyperAI超神经
HyperAI超神经 · 2025-08-29T05:28:06Z

机器之心数据服务现已上线,提供高效稳定的数据获取,简化数据爬取流程。

ICML 2025 | 作业帮团队提出基于能量的偏好模型(EBM),攻克LLM对齐痛点,性能超越主流方法

机器之心
机器之心 · 2025-08-26T09:17:00Z

机器之心数据服务已上线,提供高效稳定的数据获取,简化数据爬取流程。

研究者警告:强化学习暗藏「策略悬崖」危机,AI对齐的根本性挑战浮现

机器之心
机器之心 · 2025-08-13T05:01:53Z
驶入新的嵌入空间:分析多语言模型中模型干预引发的跨语言对齐

多语言大模型中的跨语言表示对齐能提升跨语言任务性能。传统对齐方法需大量计算资源和数据,而模型干预是一种更高效的替代方案。我们分析了一种流行的干预方法(寻找专家),发现通过操控神经元可增强跨语言对齐,检索任务性能最高可提高2倍准确率。

驶入新的嵌入空间:分析多语言模型中模型干预引发的跨语言对齐

Apple Machine Learning Research
Apple Machine Learning Research · 2025-07-25T00:00:00Z

.NET 6引入了CLong和CULong类型,解决了C语言long类型在跨平台开发中的不一致问题。这些类型根据运行平台自动调整,简化了代码,降低了维护成本,提高了可读性,使开发者能更专注于业务逻辑,避免手动处理平台差异。

被C long坑过吗?这个.NET 6新功能解决跨平台对齐难题

dotNET跨平台
dotNET跨平台 · 2025-07-16T00:02:04Z
  • <<
  • <
  • 1 (current)
  • 2
  • 3
  • >
  • >>
👤 个人中心
在公众号发送验证码完成验证
登录验证
在本设备完成一次验证即可继续使用

完成下面两步后,将自动完成登录并继续当前操作。

1 关注公众号
小红花技术领袖公众号二维码
小红花技术领袖
如果当前 App 无法识别二维码,请在微信搜索并关注该公众号
2 发送验证码
在公众号对话中发送下面 4 位验证码
友情链接: MOGE.AI 九胧科技 模力方舟 Gitee AI 菜鸟教程 Remio.AI DeekSeek连连 53AI 神龙海外代理IP IPIPGO全球代理IP 东波哥的博客 匡优考试在线考试系统 开源服务指南 蓝莺IM Solo 独立开发者社区 AI酷站导航 极客Fun 我爱水煮鱼 周报生成器 He3.app 简单简历 白鲸出海 T沙龙 职友集 TechParty 蟒周刊 Best AI Music Generator

小红花技术领袖俱乐部
小红花·文摘:汇聚分发优质内容
小红花技术领袖俱乐部
Copyright © 2021-
粤ICP备2022094092号-1
公众号 小红花技术领袖俱乐部公众号二维码
视频号 小红花技术领袖俱乐部视频号二维码