一、基于模型微调的小样本学习

• 基于模型微调的方法是小样本学习较为传统的方法，该方法通常在大规模数据上预训练模型，在目标小样本数据集上对神经网络模型的全连接层或者顶端几层进行参数微，得到微调后的模型。
• 若目标数据集和源数据集分布较类似,可采用模型微调的方法。
• 基于模型微调的方法较简单，但是在真实场景中目标数据集和源数据集往往并不类似，采用模型微调的方法会导致模型在目标数据集上过拟合。

二、基于数据增强的小样本学习

• 数据增强指借助辅助数据或辅助信息，对原有的小样本数据集进行数据扩充或特征增强。
• 数据扩充：向原有数据集添加新的数据，可以是无标签数据或者合成的带标签数据。
• 特征增强：在原样本的特征空间中添加便于分类的特征，增加特征多样性。

基于无标签数据的方法

• 基于无标签数据的方法是指利用无标签数据对小样本数据集进行扩充，常见的方法有半监督学习和直推式学习等。

基于数据合成的方法

• 为小样本类别合成新的带标签数据来扩充训练数据，常用的算法有生成对抗网络。

基于特征增强的方法

• 通过增强样本特征空间来提高样本多样性的一个关键是如何得到一个泛化性好的特征提取器。

三、基于迁移学习的小样本学习

• 迁移学习是指利用旧知识来学习新知识，主要目标是将已经学会的知识很快地迁移到一个新的领域中。
• 基于模型微调的方法在源数据集和目标数据集分布大致相同时有效，分布不相似时会导致过拟合问题，迁移学习则解决了这个问题。
• 迁移学习只需要源领域和目标领域存在一定关联，使得在源领域和数据中学习到的知识和特征能够帮助在目标领域训练分类模型，从而实现知识在不同领域之间的迁移。
• 一般来说，源领域和目标领域之间的关联性越强，那么迁移学习的效果就会越好。

基于度量学习的方法

• 在数学概念中，度量指衡量两个元素之间距离的函数，也叫做距离函数。
• 度量学习也称为相似度学习，是指通过给定的距离函数计算两个样本之间的距离,从而度量它们的相似度。
• 将度量学习的框架应用到小样本学习上，顾名思义，就是通过计算待分类样本和已知分类样本之间的距离，找到邻近类别来确定待分类样本的分类结果。
  
• 由上面的模型可以看出,基于度量学习的方法经历了从解决单样本问题到解决小样本问题，再到同时解决小样本问题和零样本问题的变革，模型逐渐趋近于成熟。
• 同时，也经历了从基于传统距离函数的方法到基于深度网络的方法的改进。
• 继续采用基于传统距离函数的方法很难在小样本分类准确率方面得到较大的提升，所以加强对基于神经网络进行度量方法的研究将是今后重点关注的方向。

基于元学习的方法

• 元学习方法经历了从单样本学习到小样本学习的转变，同时也从图像领域迁移到了文本领域。
• 元学习方法为小样本学习带来了很大突破，到今后很长一段时间都将是小样本学习的主流方法。

基于$图神经网络$的方法⭐

• 在计算机科学中，图作为一种数据结构，由点和边构成。

• 图这种数据结构，具有表现力强和展示直观的优点，随着近年来机器学习的兴起，机器学习逐渐被应用到图的分析上。

• 图神经网络是一种基于深度学习的处理图领域信息的模型，由于其较好的性能和可解释性，它最近已成为一种广泛应用的图分析方法。

• 在图神经网络里，每一个样本看做图中的一个节点，该模型不仅学习每个节点的嵌入向量，还学习每条边的嵌入向量。

• 卷积神经网络将所有样本嵌入到向量空间中，将样本向量与标签向量连接后输入图神经网络，构建每个节点之间的连边个深度的图神经网络。

四、小样本学习总结与展望

小样本学习总结

1. 基于数据增强的方法是对小样本数据集进行数据扩充或特征增强，这种方法可以不对模型进行参数调整，但是容易引入噪声数据。
2. 基于迁移学习的方法是将旧领域学到的知识迁移到新领域，并且不需要两者之间有很强的关联性，但关联性越强迁移效果越好。
3. 基于迁移学习的方法中，基于度量学习的方法最简单、容易操作，只需要通过距离来衡量样本之间的相似度，但是学习到的知识太少。基于元学习比基于度量学习的方法学习能力更强，可以学习到更多知识。基于图神经网络的方法在三种方法中展示最为直观、可解释性较强，但样本总数变大时会导致计算复杂度增高。

五、总结