learn to learn

让机器学习怎么去学习，例如机器学习之前学习了 100 个不同的 task（语音辨认/图像辨认），最终一个task是文本分类相关的，在学习前一百个使命之后，机器在文本分类使命也能够学习的更好。 life long：one model for all tasks Meta learning： how to learn a new model 能够公式表示为： f∗=F(Dtrain)f^* = F(D_{train})

机器学习和元学习

  • machine learning step 1）找到一个 f 的调集 2）找到一个判别 f 的办法 （loss function） 3）在这个调集中寻觅最好的函数 f
  • Meta learning step 1）找到一个 learning algorithm 的调集； 2）之后寻觅到一个判别 learning algorithm 好坏的办法 3）最终得到一个最好的 learning algorithm 作为 F

怎么去做

  • 首先需要定义一个函数的好坏

L(F)=∑n=1lnL(F) = \sum_{n=1} l^n

其中，l 表示每个单个子使命，咱们的目标便是让所有子使命总的丢失函数最小的函数 F：

F∗=argminFL(F)F^* = argmin_F L(F)

简单运用

对于多分类问题，能够划分为 N-ways K-shot classification 使命，也便是从 N 个全部品种中，sample 出来 n 个类目，每个类目下面 k 个样本。能够理解为把测试集划分为 M 个调集，每个调集都是由support set 和 query set 组合而成，也便是一个子集作为一个 task 的练习数据，划分为 train 和 test。总体的练习过程是： 优化所有 task 的丢失函数最小，在此条件下，筛选出一组全局最优的参数。

技术品种

MAML arxiv.org/pdf/1703.03… Meta learning 最终的意图是要让模型取得一个杰出的初始化参数。这个初始化参数在练习 task 上体现或许并不出色，但以这个参数为起点，去学习新的 task 时，学的会又快又好，而普通的 learning，则是着眼于处理当前的 task，不会考虑怎么面临新的 task。丢失函数的奥妙：初始化参数掌控全场，分使命参数各自为营。

Metal-learning in transfer learning

  • 文章一： transfer learning based few-shot learning optimization as a model for few-shot learning

本文的问题

常用的根据梯度的优化办法面临少样本学习问题会崩溃。

本文的思路

学习一种新的优化办法(更新规则)，来在少样本学习使命上运用少数的样本和少数的更新迭代能够产生好的效果。一起一个额外的优点便是有一个好的初始化，能够将这个初始化作为练习起点，这样只需要少数的梯度更新就能够收敛到一个好的处理方案。

本文提出的办法

元学习建议将学习问题制定为两层: 。使命学习者(task-learner，或者文中的learner):在每个独立的使命之中快速获取常识。 元学习者(meta-learner):从很多的使命中缓慢的学习和提取信息，这些信息用于指导使命学习者学习。 本文提出根据LSTM的元学习: LSTM-based meta-learner to optimize learner neural network classifier

  • Short-term knowledge within a task
  • Long-term knowledge common among all the tasks
  • Learn a task-common initialization which captures fundamental knowledge

模型结构

Meta Learning

总结

提出了一个根据 LSTM 的 元学习者(meta-learner) 用以学习一个用于练习另一个在少样本情况下的 学习者(learner) 神经网络分类器的优化算法。咱们模型的参数化允许咱们的模型学习恰当的、专门用于只能进行一定量更新的参数更新办法。一起咱们的模型为 学习者(learner)网络，也便是分类器网络学习了一个通用的初始化，这个初始化能够帮助 学习者(learner)网络在练习的时分快速收敛。

Reference

blog.csdn.net/weixin 37589575/article/details/96995985

敞开成长之旅！这是我参与「日新方案 2 月更文应战」的第 30 天，点击检查活动概况