Apple Machine Learning Research
·
可扩展图神经网络中的迁移学习以改善物理模拟
💡
原文英文，约300词，阅读约需1分钟。
📝
内容提要
近年来，基于图神经网络（GNN）的模型在复杂物理系统模拟中表现优异。本文提出了一种可扩展的图U-net（SGUNet）及其预训练和迁移学习方法，利用深度优先搜索池化技术适应不同网格大小。我们创建了一个包含20,000个3D物理模拟的数据集，结果显示，经过迁移学习的模型在少量数据上优于从头训练的模型。
🎯
关键要点
- 近年来，基于图神经网络（GNN）的模型在复杂物理系统模拟中表现优异。
- 训练专用的图网络模拟器成本高，且大多数模型依赖完全监督训练。
- 传统模拟器生成的大量数据是训练模型所需的，但迁移学习的应用尚未被探索。
- 本文提出了一种预训练和迁移学习的范式，介绍了可扩展的图U-net（SGUNet）。
- SGUNet通过深度优先搜索池化技术，能够适应不同网格大小和分辨率的模拟任务。
- 为实现不同配置的SGUNet之间的迁移学习，提出了一组映射函数来对齐预训练模型和目标模型的参数。
- 在损失中添加了额外的归一化项，以约束预训练权重和目标模型权重之间的相似性，从而提高泛化性能。
- 创建了一个包含20,000个3D物理模拟的数据集用于预训练。
- 经过迁移学习的模型在少量数据上表现优于从头训练的模型，特别是在2D可变形板的实验中，预训练模型在1/16的训练数据上实现了11.05%的性能提升。
➡️
