BriefGPT - AI 论文速递 ·

序列偏好优化：通过NDCG对齐人类偏好

💡 原文中文，约500字，阅读约需2分钟。

📝

内容提要

本研究提出序列偏好优化方法，利用NDCG解决大型语言模型与人类多样化偏好的对齐问题。结果显示，OPO在评估和基准测试中优于现有方法，并通过增加负样本池提升性能。

🏷️

异类心智
2023年，OpenAI在“RLSlow”项目中首次看到扩展推理模型训练的成果，意识到机器智能将超越人类。三年后，推理模型已广泛应用于经济与科学，但带来安...
GPT-6 Astra空间推理91.8分超越人类：AGI时代真的来了吗！
GPT-6 Astra在空间推理测试中以91.8分超越人类基线80分，引发AGI时代讨论。但其ARC-AGI-3成绩从官方宣称的99.9%降至62.7%，...
DeepSeek-V4 模型结构（3）：序列维度（下），HCA、混合排布与零件
本文详解DeepSeek-V4模型结构：HCA将128个token压缩为一条目，无需稀疏选择；CSA与HCA交错排布，确保全局信息不丢失；滑窗分支弥补压缩...
DeepSeek-V4 模型结构（2）：序列维度（中），Lightning Indexer 与稀疏选择
本文介绍DeepSeek-V4模型中的压缩稀疏注意力（CSA）机制。KV缓存每4个token压缩为一条，1M上下文仍有26万条目，故用lightning ...
DeepSeek-V4 模型结构（1）：序列维度（上），从 MLA 到压缩 KV
本文介绍DeepSeek-V4的注意力机制，从MHA到CSA/HCA的演进，重点分析压缩KV缓存的方法。V4将每4或128个token压缩为一条512维K...
Kimi K3 模型结构（3）：序列维度，Gated MLA 与 3:1 混合
本文介绍Kimi K3模型结构：采用3:1混合，每四层含一层Gated MLA（无位置编码、满秩sigmoid门），其余为KDA层。MLA低秩压缩KV至5...