0
点赞
收藏
分享

微信扫一扫

pytorch中的Linear类


功能:在某个数据上应用一个线性转换,公式表达就是​​y=xA^T+b​

参数:

  • ​in_features​​: 每个输入样本的维度
  • ​out_features​​:每个输出样本的维度
  • bias: 如果设置成false,则这个线性层不会加上bias,默认为True.

​weight​​:

  • 可学习参数
  • 值从均匀分布 U ( − k , k ) U(-\sqrt{k},\sqrt{k}) U(−k ​,k ​)中获取, 其中 k = 1 i n _ f e a t u r e s k = \frac{1}{in\_features} k=in_features1​

​bias​​:

  • shape : 与输出的维度一致
  • 其值与​​weight​​​ 初始化的方法相同(好像并不完全相同,weight是根据​​kaiming_uniform​​,而bias是根据uniform_) ,都是从均匀分布 U ( − k , k ) U(-\sqrt{k},\sqrt{k}) U(−k ​,k ​)中获取


举报

相关推荐

0 条评论