在线性注意力模型中加入短卷积（Short Conv）是为了增强模型的表达能力，弥补线性化带来的性能下降。通过TTT（在线学习）框架，模型能够有效压缩信息，提高学习效果，避免“自我预测”的局限性。

机器之心数据服务现已上线，提供高效稳定的数据获取，简化数据爬取流程。

本研究提出了Med-TTT模型，解决医学图像分割中卷积神经网络和Transformer的计算复杂度及特征丢失问题。通过视觉-测试时间训练层，该模型以线性复杂度建模长程依赖，自适应调整参数，提高复杂背景下的分割能力，实验结果优异。

测试时间适应（TTA）在不平衡数据上表现不佳，导致性能下降。研究提出了平衡的batchnorm层，结合自我训练（ST）和锚定损失正则化，提升适应性。最终模型TRIBE在四个数据集上表现优异，代码可在GitHub获取。

通过在2D TransUNet体系结构的基础上集成基于Transformer的编码器和解码器，探索了Transformers在U型医学图像分割中的潜力。实验证明TransUNet在医学应用中超越竞争对手。

TTT是一个新的模型，旨在将长上下文压缩为固定大小的隐藏状态。与RNN不同，TTT能够有效地捕捉标记之间的底层结构和关系。TTT使用自监督学习将历史上下文压缩为隐藏状态，以用于预测。该模型通过基于自监督损失更新权重进行训练。TTT在压缩长上下文的同时保持了效率和质量，展现了有希望的结果。

新架构RNN反超Transformer，将隐藏状态换成可学习的模型，称为TTT。TTT在短上下文时表现超过了Transformer和Mamba，且能更好利用长上下文。隐藏状态模型可以是任意模型，可用于压缩上下文和视频建模。TTT方法还需继续研究和努力。

深度学习模型在视觉任务中表现出色，但易受领域转移影响。提出一种无监督 TTT 技术，通过聚类任务提高分类性能。实验证明在常见测试时适应基准上具有竞争力。