本文探讨了概率电路（PC）及其变种在学习性能和模型容量方面的提升，介绍了概率神经电路（PNC）和图感知积-和网络（GSPN）的新框架，强调了它们在处理复杂数据和缺乏监督数据时的优势。研究表明，这些模型在准确性和鲁棒性上优于传统方法。

本文介绍了一种基于神经突触可塑性的动态生成记忆模型，旨在解决连续学习中的老知识保留和模型容量扩展问题。提出的MuFAN框架及其他方法如Split2MetaFusion和AdNS，通过不同策略实现了网络的稳定性与可塑性平衡，实验结果表明其在多个数据集上优于现有方法。

文章借助热力学与推理的对应关系定义“有效维度”，该指标与PAC-Bayesian容量一致，远小于参数数量，随训练样本变化，并适用于随机森林、kNN等非参数模型。基于此研究双下降、模型选择、宽度-深度权衡及损失面多样性，发现有效维度优于基于范数或平坦度的度量。文章还提出TEDL量化分类不确定性，并揭示性能随模型大小和训练轮数呈“双峰下降”现象。

该文介绍了一种软的 MoE 方法，可以在训练和推断成本上实现模型容量的扩展，解决了传统的 MoE 方法中存在的多个问题。该方法在视觉识别任务中表现优于标准的 Transformers 和其他 MoE 变种，并且在模型规模扩展上也有良好的性能。