LayerNorm

快乐小码农

 关注

阅读 39

2024-08-08


手推公式之“层归一化（LayerNorm）”梯度

昨天推导了一下交叉熵的反向传播梯度，今天再来推导一下层归一化（LayerNorm），这是一种常见的归一化方法。

前向传播

LayerNorm_归一化

反向传播

LayerNorm_归一化_02

推导过程

LayerNorm_推公式_03

LayerNorm_推公式_04

均值和标准差的梯度 

LayerNorm_归一化_05

这次内容较少就是一些图哦~~  

相关推荐

nn.LayerNorm解释

乱世小白 46 0 0

nn.BatchNorm 和nn.LayerNorm详解

东林梁 69 0 0

PyTorch 标准化操作层 (BatchNorm, LayerNorm, InstanceNorm))

Ad大成 79 0 0

PyTorch学习之归一化层（BatchNorm、LayerNorm、InstanceNorm、GroupNorm）

菜菜捞捞 110 0 0

低资源集群中的大语言模型分布式推理技术:Reduce、LayerNorm和Broadcast的作用

十里一走马 17 0 0

精彩评论（0）

0 0 举报