BriefGPT - AI 论文速递 ·

预训练语言模型是否真能推断知识图谱中未见节点的关联？

💡 原文中文，约200字，阅读约需1分钟。

📝

内容提要

本研究使用文本为基础的方法提升了知识图谱补全的效果，并通过引入约束型提示来改善大型语言模型生成的文本质量。该方法在低资源计算条件下展现了有效的推理能力，并在WN18RR和FB15K237数据集上超越了之前的结果，为将大型语言模型应用于知识图谱补全任务提供了新的研究方向。

🏷️

Kimi K3 模型结构（4）：深度维度，Attention Residuals
本文解析Kimi K3模型中的Attention Residuals（注意力残差）结构。该机制将残差连接视为深度方向上的RNN，通过可学习伪query对e...
DeepSeek-V4 模型结构（5）：宽度维度，DeepSeekMoE 的四个改动
本文介绍DeepSeek-V4模型结构中MoE层的四处改动：路由打分从sigmoid改为sqrt(softplus)以消除饱和；前三层用固定hash ro...
DeepSeek-V4 模型结构（4）：深度维度，mHC
该文详解DeepSeek-V4的mHC残差结构：将单条残差流拓宽为4条，通过读、写、混三算子连接子层。为保稳定，混合矩阵被约束为双随机矩阵（非负、行和列和...
DeepSeek-V4 模型结构（3）：序列维度（下），HCA、混合排布与零件
本文详解DeepSeek-V4模型结构：HCA将128个token压缩为一条目，无需稀疏选择；CSA与HCA交错排布，确保全局信息不丢失；滑窗分支弥补压缩...
DeepSeek-V4 模型结构（2）：序列维度（中），Lightning Indexer 与稀疏选择
本文介绍DeepSeek-V4模型中的压缩稀疏注意力（CSA）机制。KV缓存每4个token压缩为一条，1M上下文仍有26万条目，故用lightning ...
DeepSeek-V4 模型结构（1）：序列维度（上），从 MLA 到压缩 KV
本文介绍DeepSeek-V4的注意力机制，从MHA到CSA/HCA的演进，重点分析压缩KV缓存的方法。V4将每4或128个token压缩为一条512维K...