Few-Shot Learning

Few-Shot Learning

与普通的分类学习方法不同，Few-Shot Learning通过小样本Support Set 来判断Query的类别。

Few-shot learning 是一种Meta Learning。

Meta Learning 就是自主学习。

1.Supervised Learning vs. Few-Shot Learning

与监督学习相比，Few-Shot Learning 的Query Sample 的类别也是未知的。

Support Set 通常是一个二维矩阵的形式。

k-way 表示类别的个数

n-shot 表示每个类样本的个数

变化关系如上图所示。

显然类别越多准确率越低，shots 越大，准确率越高。

2.Basic Idea

从大规模数据集中训练CNN网络，学习相似函数sim。

然后应用sim进行预测，将Query 与 Support Set 依次求sim，取最高得分的类。

2.1 常见的数据集datasets

字符集Omniglot。

图像集Mini-ImageNet

3.Siamese Network

3.1 Learning Pairwise Similarity Scores

将data分为两类，Positive and Negative Samples。

每个数据都是一个三元组：第一个图片、第二个图片、标签。1表示是同一类，0表示不是同一类。

构建一个CNN提取图片的特征向量。

每次求输入两个图片，通过CNN得到两个特征向量。然后相减取绝对值，再通过全连接层和激活函数Sigmoid得到值在之间。然后与标签target 计算Loss。使用Loss进行梯度更新全连接层和CNN的参数。

target为0时同理。

3.2 Triplet Loss

Triplet Loss 是每次选择一个anchor 作为锚点，然后选择同类的另一个作为postive、不同类的一个作为negative。

通过CNN 提取特征向量后，分别与

我们的目的是让 更小， 更大。因此考虑设置超参数

当

否则。然后梯度下降更新CNN。

在于预测的时候，我们计算两个图片的在特征向量空间的距离即可。

3.3 Summary

CNN用于提取特征向量，对于Query要么使用Sigmoid 近似相似度sim，要么使用distance 比较。

4.Pretraining and Fine Tuning

cosine similarity 是两个二范数为1的向量的内积。几何意义上看是一个向量在另一个向量上的映射范围是。

若模长不为1，可以进行归一化。

4.1 Softmax Function

Softmax 函数常常用于输出概率密度分布，将输入的一组向量进行softmax后得到对应的概率分布。

Softmax Classifier 的组成由二维向量W和常量b组成。

4.2 Few-Shot Prediction Using Pretrained CNN

使用CNN提取特征向量，然后对于Support Set中的每类进行取均值，然后归一化。

归一化后堆叠为矩阵M。

这样Mq 的结果就是cos 相似值，然后进行softmax即可得到概率密度分布。

4.3 Fine-Tuning(微调)

在使用CNN进行Few-Shot 预测时，softmax 的W和b时固定的。

W就是Support set 中计算堆叠后的M，b=0。

我们对softmax得到的 和真实标签

为了避免过拟合，一般还会加上Regularization。

实验证明Fine Tuning效果会更好。

4.4 优化Tricks

对所有样例得到的sotamax

Trick3 使用Cosine Similarity 代替。本质就是将

4.5 Summary

大规模数据集预训练CNN，使用CNN提取特征向量。

计算Support Set 每个类别的特征向量均值。

然后比较两两的距离，选择分类。

在Pretraining后，还可以通过Fine Tuning优化Softmax 分类器。同时也可以在训练分类器的同时反向传播更新CNN参数。