0
点赞
收藏
分享

微信扫一扫

吃火锅(Python)

三分梦_0bc3 2023-11-29 阅读 44
python

知识蒸馏

前置知识

  1. Loss
    在这里插入图片描述
    现在分数-正确分数+1
    例:
    在这里插入图片描述

  2. 正则化 Regularization
    用来防止过拟合
    在这里插入图片描述
    在这里插入图片描述

知识蒸馏相关

  1. softmax
    把分数转换为概率的一种方法,e的次方
    在这里插入图片描述

  2. hard targets 和 soft targets

在这里插入图片描述

  1. 蒸馏温度 T
    在原来的softmax下,除以某个系数,让概率值相差不太大
    在这里插入图片描述

  2. 知识蒸馏过程
    在这里插入图片描述

在这里插入图片描述
Loss:
hard loss: 传统交叉熵
distillation loss:
9在这里插入图片描述
一般需要训练好的情趣额度较高的大的教师模型,和未训练的小的学生模型进行训练

举报

相关推荐

0 条评论