本研究提出了Med-TTT模型,解决医学图像分割中卷积神经网络和Transformer的计算复杂度及特征丢失问题。通过视觉-测试时间训练层,该模型以线性复杂度建模长程依赖,自适应调整参数,提高复杂背景下的分割能力,实验结果优异。
本文介绍了一种退火流(AF)模型,用于解决高维多模态分布采样问题。AF通过连续标准化流有效探索高维空间,确保样本和维度的线性复杂度。研究显示,AF在复杂分布和实际数据集上表现优异,能更准确估计概率分布的归一化常数和期望值。
该文综述了提升Transformer长序列建模效率的多种注意力改进方法:Luna用嵌套线性注意力逼近Softmax,实现线性复杂度;GLA引入门控机制,训练速度媲美FlashAttention-2;LongNet用扩张注意力处理超10亿标记序列;FLASH结合门控注意力单元与线性近似,训练提速最高4.9倍;线性对数正态注意力优于其他线性替代方案;ALiBi通过线性偏置提升长序列泛化;扩展FlashAttention支持稀疏注意力模式;LightSeq优化长上下文LLM训练通信;Linformer将复杂度从O(n²)降至O(n)。
完成下面两步后,将自动完成登录并继续当前操作。