0
点赞
收藏
分享

微信扫一扫

nn.BCELoss()与nn.CrossEntropyLoss()的区别

乌龙茶3297 2022-05-02 阅读 47

nn.BCELoss()可以认为是nn.CrossEntropyLoss()的一个二分类的特例

1、但是在使用nn.BCELoss()时需要先加上一个Softmax()层,而使用nn.CrossEntropyLoss()时该函数会自动添加Softmax层。

2、BCELoss = - target * torch.log(pred) - (1-target) * torch.log(1-pred)因为log0 = -inf, log1 = 0, 可能会出现损失函数nan和inf的情况【在训练的过程中可能对梯度更新还会造成不少的影响】。BCELoss进行了截断来防止log()计算的时候可能出现问题,因为对于一个很小的数x而言,虽然理论上log(x)是能计算的,但是计算机有精度限制,所以没法实现这么理想的情况。因此将上面的代码加一行,:pred = torch.clamp(pred, min=1e-5, max=1-1e-5)就能解决inf和nan的问题了。

举报

相关推荐

0 条评论