本研究探讨捷径学习对上下文学习的影响，分析非稳健决策规则引发的普遍化与稳健性问题，并总结现有研究中的未解难题及未来研究方向。

本文提出了一种基于视觉转换器自我蒸馏的领域泛化方法，用于糖尿病视网膜病变分类。通过多源和单源实验，验证了该方法在分类中的有效性和优越的校准性能，强调了简单方法在医学图像泛化任务中的重要性。

本文研究了预训练模型在语言中的层次化句法功能，发现模型的深度和训练规模对层次化泛化有显著影响。中等深度模型在学习层次结构方面表现优于浅层和深层模型。此外，结构性偏置和合适的语料库能够提升模型的句法推理能力。