本研究评估了内存受限环境中的轻量级深度学习模型，填补了低内存设备上图像分类的研究空白。通过基准测试五种架构，发现迁移学习显著提升了模型在复杂数据集Tiny ImageNet上的准确性和效率，为优化深度学习系统提供了建议。

本文探讨了内存受限的在线持续学习（MC-OCL）问题，提出了一种基于正则化的批量蒸馏方法（BLD），在多个基准测试中表现优异。研究表明，通过简单的组件和损失函数组合，可以有效缓解经典遗忘现象，并在CIFAR-100和ImageNet上取得领先成果。此外，提出的新型知识传输技术和重放策略显著提升了类增量学习的性能。

本文综述了持续学习的基本设置、理论基础和实际应用，探讨了内存受限设置和神经网络的遗忘问题，提出了应对这些挑战的方法，并讨论了未来研究方向及其在智能城市中的应用。

本文提出了一种交叉领域连续学习（CDCL）方法，旨在解决灾难性遗忘问题，并在真实数据集上验证了其有效性。同时，研究探讨了内存受限的在线持续学习（MC-OCL）及其解决方案，证明了新方法在多个基准测试中的优越性能，显示出广泛的应用潜力。