该研究探讨了变分自编码器（VAE）中的隐藏表示，提出了内在维度和信息不平衡的新理解。研究发现，当瓶颈大小超过内在维度时，VAE的行为会发生变化，并确认了快速拟合与缓慢泛化的训练阶段。这为优化架构搜索和诊断欠拟合问题提供了新工具。

研究发现，神经网络训练中的设计选择会影响隐藏表示中的聚类。预训练模型在聚类时表现更好，尤其是预先训练于子类标签的模型。视觉变换器的子类聚类能力比 ResNet 低。