了解基于模型的元学习：Learning to Learn优化策略和Meta-Learner LSTM
💡
原文中文，约7000字，阅读约需17分钟。
📝
内容提要
本文介绍了基于模型的元学习中的Learning to Learn优化策略和Meta-Learner LSTM。Meta-Learner LSTM使用单元状态表示Learner参数的更新，既能发现一个良好的Learner初始化参数，又能将Learner的参数更新到一个给定的小训练集，以完成一些新任务。Meta-Learner LSTM和MAML的区别在于信息交流的时间点和元学习器的更新方式。Meta-Learner LSTM适用于LSTM结构的元学习器，但基学习器可以适用于任意模型结构。在miniImageNet上进行分类，Meta-Learner LSTM取得了较好的结果。
🎯
关键要点
- 本文介绍了基于模型的元学习中的Learning to Learn优化策略和Meta-Learner LSTM。
- Meta-Learner LSTM使用单元状态表示Learner参数的更新，能够发现良好的Learner初始化参数。
- Meta-Learner LSTM与MAML的区别在于信息交流的时间点和元学习器的更新方式。
- Meta-Learner LSTM适用于LSTM结构的元学习器，基学习器可以适用于任意模型结构。
- 在miniImageNet上进行分类，Meta-Learner LSTM取得了较好的结果。
- Learning to Learn提出了一种用LSTM替代传统优化方法的全新优化策略。
- 优化器通过学习的梯度更新规则替代人为设定的更新规则。
- Meta-Learner LSTM通过梯度下降更新规则和LSTM单元状态更新规则的等价性进行参数更新。
- Meta-Learner LSTM的设计思路是学习LSTM的更新规则并应用于Learner的参数更新。
- Meta-Learner LSTM的算法流程包括随机抽取数据集、计算损失函数和更新参数。
- Meta-Learner LSTM模型结构为两层LSTM网络，第一层为正常LSTM，第二层为近似随机梯度的LSTM。
- Meta-Learner LSTM与MAML的主要区别在于参数更新和信息交流的方式。
🏷️
标签
➡️
