多项研究探讨Transformer大语言模型在复合任务上的局限，发现其多步推理实为线性子图匹配，任务越复杂性能下降越快。设计决策影响组合泛化能力，生成中间输出、数据增强及辅助任务可提升泛化，部分方法在COGS等基准上达最先进水平。

该文章探索了Transformer模型的设计空间，发现一些设计决策对模型的归纳偏差有很大影响。通过这些决策，可以显著提高模型的组合泛化能力，并在各种复合任务中实现了比文献报道更好的泛化结果。

本文介绍了一种名为PGDiff的新方法，利用预训练扩散模型进行图像恢复任务。该方法通过引入部分指导的新视角，模拟高质量图像的期望特性，并将其应用于逆扩散过程。PGDiff 结合扩散先验能够在各种恢复任务中产生令人满意的结果，并且可以处理复合任务。