本文介绍了一种新的知识蒸馏技术，用于降低持续学习中的遗忘。该技术利用神经网络的潜在/输出空间的流形结构，并利用线性子空间来保持神经网络的知识。实验证明，该方法在多个具有挑战性的数据集上优于其他连续学习方法。

韩国科学家开发了名为“KOALA”的人工智能工具，可在廉价硬件上快速生成图像。他们使用知识蒸馏技术将开源图像生成模型压缩为只有7亿个参数的小型模型。该工具可在较弱的GPU上运行，仅需8GB RAM。该团队已在arXiv上发表论文，并通过Hugging Face提供了他们的工作成果。

本研究提出了神经机器翻译知识蒸馏技术，将准确的老师网络知识注入到学生网络中，适应低资源环境。实验证明，学生网络参数减少50％，仍能提供与老师网络相媲美的翻译结果。验证了葡萄牙语-英语、土耳其语-英语和英语-德语方向的翻译实验结果。

本文介绍了一种新的知识蒸馏技术，用于降低持续学习中的遗忘。该技术利用神经网络的潜在空间结构和线性子空间来保持知识。实验证明该方法在多个数据集上优于其他连续学习方法。

该研究提出了一种新的两步法来压缩 Tiny 语音增强模型，使用知识蒸馏技术进行预训练，并提出了一种新的细粒度相似性保持 KD 损失函数。该方法在高压缩和低信噪比条件下表现出突出的改进，信噪失真比分别提高了0.9dB和1.1dB。