在线性注意力模型中加入短卷积（Short Conv）是为了增强模型的表达能力，弥补线性化带来的性能下降。通过TTT（在线学习）框架，模型能够有效压缩信息，提高学习效果，避免“自我预测”的局限性。

机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。

本研究提出了Med-TTT模型，解决医学图像分割中卷积神经网络和Transformer的计算复杂度及特征丢失问题。通过视觉-测试时间训练层，该模型以线性复杂度建模长程依赖，自适应调整参数，提高复杂背景下的分割能力，实验结果优异。

本文介绍了多种测试时间自适应（TTA）模型，旨在提高深度学习在域漂移情况下的分类性能。研究提出了基于测试熵最小化、alpha-BN框架和元学习方法等技术，解决了批量归一化不平衡问题，并在多个数据集上实现了最先进的性能。

本研究探讨了多种医学图像分割模型，如UNet++、TransUNet和Swin-Unet，强调它们在分割精度和速度上的优势。结合Transformer和U-Net架构的模型在多器官和肿瘤分割任务中表现优异。通过迁移学习和优化损失函数，研究为医学成像提供了有效的解决方案和最佳实践。

TTT是一个新的模型，旨在将长上下文压缩为固定大小的隐藏状态。与RNN不同，TTT能够有效地捕捉标记之间的底层结构和关系。TTT使用自监督学习将历史上下文压缩为隐藏状态，以用于预测。该模型通过基于自监督损失更新权重进行训练。TTT在压缩长上下文的同时保持了效率和质量，展现了有希望的结果。

新架构RNN反超Transformer，将隐藏状态换成可学习的模型，称为TTT。TTT在短上下文时表现超过了Transformer和Mamba，且能更好利用长上下文。隐藏状态模型可以是任意模型，可用于压缩上下文和视频建模。TTT方法还需继续研究和努力。

本文提出了一种新型无监督测试时训练（TTT）技术，通过最大化多尺度特征图与离散潜在表示之间的相互信息，整合到标准训练中。实验结果表明，该方法在不同测试时适应基准上表现出竞争力的分类性能。