简单谈谈K3的MoE和Attention

📝

内容提要

上个月,我们发布了迄今为止最大的开源模型K3。作为K2的继任者,K3并不是一次从零开始的重新设计,而是沿着我们过去一系列工作自然演化而来,并融合了我们对效果、效率、稳定性的一些最新理解和改进。可...

➡️

继续阅读