增长图中的渐进学习的整体记忆多样化
内容提要
本文探讨了通过可学习的随机图和小型记忆单元解决非静态分布中的持续学习问题。研究表明，该框架在多个数据集上优于现有技术，有效避免遗忘并提升性能，尤其在处理动态图数据时表现突出。
延伸解读
从欧几里得数据到图数据的持续学习挑战
文章指出，基于内存回放的持续学习在欧几里得数据上已很成功，但直接用于不断扩大的图数据会导致内存爆炸，因为需要缓冲代表节点及其拓扑邻域。这揭示了图数据持续学习特有的瓶颈：不仅要存储节点特征，还要保留结构信息，使得内存开销随图规模增长而急剧上升。
PDGNNs与TEM如何降低内存复杂度
为应对内存爆炸，文章提出参数独立的图神经网络（PDGNNs）与拓扑感知嵌入记忆（TEM）框架。该框架将内存空间复杂度从O(nd^L)降至O(n)，并通过解耦可训练参数与计算自我子图的关系，利用拓扑感知嵌入将自我子图压缩为紧凑向量，从而在有限内存下保留拓扑信息用于回放。
伪训练效应与覆盖率最大化采样
文章在提出框架的同时，发现了在不断扩大的图上进行持续学习时独特的伪训练效应，并由此开发了覆盖率最大化采样策略。这一策略旨在紧凑的内存预算下提升性能，说明单纯增加内存未必有效，采样策略对平衡新旧任务同样关键。
类增量设置下的性能优势
实证研究表明，PDGNNs与TEM通过解决内存爆炸问题并将拓扑信息与内存回放相结合，明显优于最先进技术，尤其在具有挑战性的类增量设置中表现突出。这表明该框架不仅缓解了内存压力，还在任务边界模糊、类别逐步增加的场景下保持了较强的持续学习能力。
Q&A
什么是通过可学习的随机图解决持续学习问题的方法？
该方法通过维护和重放以前样本的小型记忆单元，解决非静态分布中的持续学习问题。
该研究在多个数据集上的表现如何？
研究表明，该模型在多个基准数据集上持续优于最近提出的基线方法，尤其在无任务的持续学习中表现突出。
如何避免在学习新任务时的遗忘？
通过从未标记数据中生成多样化的样本，DNN能够在学习新任务时有效避免遗忘。
PDGNNs与TEM的优势是什么？
PDGNNs与TEM结合拓扑信息与内存回放，显著降低内存空间复杂性，并在类增量设置中优于现有技术。
内存爆炸问题是如何解决的？
通过参数独立的图神经网络（PDGNNs）与拓扑感知嵌入记忆（TEM），将内存空间复杂性降低到O(n)。
该框架在处理动态图数据时的表现如何？
该框架在处理动态图数据时表现突出，能够有效适应当前任务的扩展图。
