BriefGPT - AI 论文速递 ·

图神经网络和图变压器的位置信息编码基准测试

💡 原文中文，约300字，阅读约需1分钟。

📝

内容提要

本研究探讨了图神经网络(GNNs)和图变压器(GTs)中位置编码(PEs)的孤立性问题，建立了统一框架来评估PEs的应用，并引入了稀疏化GRIT注意机制，发现新GNN架构与PEs的结合能够超越现有方法。

🏷️

如何选择 RTC 推流的编码格式？
本文探讨RTC推流编码格式选择，指出H.264兼容性最广，适合作为默认格式；H.265节省带宽但兼容性差；VP8适用于WebRTC；AV1尚未普及。音频方...
如何构建默认安全的AI编码代理
Anaconda工程副总裁Greg Jennings探讨构建安全默认的AI编码代理，强调提示词不应作为严格安全护栏，并分享通过战略收购保障AI软件供应链安全的方法。
DeepSeek-V4 模型结构（3）：序列维度（下），HCA、混合排布与零件
本文详解DeepSeek-V4模型结构：HCA将128个token压缩为一条目，无需稀疏选择；CSA与HCA交错排布，确保全局信息不丢失；滑窗分支弥补压缩...
DeepSeek-V4 模型结构（2）：序列维度（中），Lightning Indexer 与稀疏选择
本文介绍DeepSeek-V4模型中的压缩稀疏注意力（CSA）机制。KV缓存每4个token压缩为一条，1M上下文仍有26万条目，故用lightning ...
DeepSeek-V4 模型结构（1）：序列维度（上），从 MLA 到压缩 KV
本文介绍DeepSeek-V4的注意力机制，从MHA到CSA/HCA的演进，重点分析压缩KV缓存的方法。V4将每4或128个token压缩为一条512维K...
DeepSeek-V4 模型结构（0）：一张图看懂 DeepSeek-V4
本文介绍DeepSeek-V4模型架构：Pro版总参数1.6T、61层，Flash版284B、43层，均采用4条残差流、交错CSA/HCA压缩注意力与Mo...