本文研究了离线深度强化学习的机制，发现函数逼近与固定数据分布是其最强因素，为该领域提供了有价值的见解，并解释了在线控制学习中的现象。

本文研究表明，使用合成数据进行预训练可以提高离线深度强化学习的性能，不需要大型语言语料库。使用一步马尔科夫链生成的数据进行预训练可以进一步提高性能。同时，使用简单的合成数据进行预训练也可以改善保守 Q 学习（CQL）的性能。这些结果表明预训练的重要性，并且预训练数据可以是合成的。