神经网络的logits
参考资料1
logits就是最终的全连接层的输出(在未经过softmax之前的，就是未归一化的概率)
Pytorch踩坑记：赋值、浅拷贝、深拷贝三者的区别以及model.state_dict()和model.load_state_dict()的坑点
参考链接2
对python直接赋值、浅拷贝和深度拷贝也要了解
python中view和pytorch的view和view_as
参考资料3
pytorch保存模型
python三元表达式
i = 5 if a > 7 else 0
SGD优化器理论理解
以pytorch的torch.optim.SGD(params,
lr=,
momentum=0,
dampening=0,
weight_decay=0,
nesterov=False)
为例进行解释
Optimizer.zero_grad()让w的偏导数为0；下面代码的注释可以好好理解
Momentum作用
超参数momentum与weight-decay作用
参考资料5
git切换branch进行git push
参考资料6
git branch查看当前分支
git checkout 分支名：切换分支（已有分支）
python中如何连接两个生成器
参考资料7
通过chain()函数
from itertools import chain
pytorch实现不同网络层分配不同的学习率
参考资料8
python yield p
参考链接9
