➡️
继续阅读
-
《梦幻橄榄球》播客主持人安迪·霍洛韦:一个坚持零邮件收件箱的人
《The Verge》采访了Fantasy Footballers播客主持人Andy Holloway。他希望在繁忙的NFL赛季前保持专注,偏好整洁的标签...
-
罗兰推出生成式AI音乐插件Melody Flip
罗兰推出生成式AI音乐插件Melody Flip,提供约250种风格调色板,可生成旋律、和弦、贝斯或鼓点,但输出为简单循环而非完整歌曲,旨在激发创作灵感。...
-
DeepSeek-V4 模型结构(5):宽度维度,DeepSeekMoE 的四个改动
本文介绍DeepSeek-V4模型结构中MoE层的四处改动:路由打分从sigmoid改为sqrt(softplus)以消除饱和;前三层用固定hash ro...
-
DeepSeek-V4 模型结构(4):深度维度,mHC
该文详解DeepSeek-V4的mHC残差结构:将单条残差流拓宽为4条,通过读、写、混三算子连接子层。为保稳定,混合矩阵被约束为双随机矩阵(非负、行和列和...
-
DeepSeek-V4 模型结构(3):序列维度(下),HCA、混合排布与零件
本文详解DeepSeek-V4模型结构:HCA将128个token压缩为一条目,无需稀疏选择;CSA与HCA交错排布,确保全局信息不丢失;滑窗分支弥补压缩...
-
DeepSeek-V4 模型结构(2):序列维度(中),Lightning Indexer 与稀疏选择
本文介绍DeepSeek-V4模型中的压缩稀疏注意力(CSA)机制。KV缓存每4个token压缩为一条,1M上下文仍有26万条目,故用lightning ...