1:多目标学习在推荐系统的应用(MMOE/ESMM/PLE) - 知乎
这篇文章中主要针对回归任务、分类任务两种目标来对不同任务设置不同的参数。博主主要记录下里面的公式推导部分和这样做的原因
(1)
这里为什么可以取高斯分布也就是正态分布,因为高斯分布呈钟形曲线,和回归任务一样,大多数样本的取值也都是集中在一个值上,然后再向两边越来越少。这里的fw(x)从文章中是多目标网络中ysl这一个网络的预测值,正常情况下定义一个高斯分布,很少有把均值定义成变量的,但是这里这个回归任务服从的高斯分布的均值就是个变量fw(x)
(2)
分类任务定义softmax也是正常做法,除了这种定义外,还有sigmoid,但是这里还是softmax对公式推导方便些
(3) 如何求loss,我们这里先参考下分类任务中常见的交叉熵求loss的公式
简单的交叉熵损失函数,你真的懂了吗? - 知乎
我们如果要求两个目标任务的loss,自然也是对两个两个概率取log,也就是对数似然函数
上面公式的具体推导,主要是涉及到logMN = logM + logN,log(M/N)=logM-logN这样一些简单的函数运算,博主将这些推导详细的解释了下
再后面将两个任务的loss相加
博主觉得第2行有点多余,自己修改了一点
第4 5两行,文章中已经给了很详细的推导
文章中最后化简的loss推导部分