P21线性层和其它层
-
官方文档有一些写好的网络：
-
线性层：这里的线性层，跟非线性激活，形成对比：线性层，是k和b，对输入数据x，进行一次函数的处理，而非线性激活（激活函数）是在对神经元或者输入，做非线性处理：
-
Recurrent Layers 不太用
-
Transformer Layer
-
Linear Layer 重点讲完了
-
Dropout Layer 不难 为了防止过拟合
-
sparse layer 用于自然语言处理
可以运行的代码
# ！usr/bin/env python3
# -*- coding:utf-8 -*-
"""
author :24nemo
date :2021年07月07日
"""
import torch
import torchvision
from torch import nn
from torch.nn import Linear
from torch.utils.data import DataLoader
dataset = torchvision.datasets.CIFAR10("../dataset", train=False, transform=torchvision.transforms.ToTensor(),
download=True)
dataloader = DataLoader(dataset, batch_size=64)
class Tudui(nn.Module):
def __init__(self):
super(Tudui, self).__init__()
self.linear1 = Linear(196608, 10)
def forward(self, input):
output = self.linear1(input)
return output
tudui = Tudui()
for data in dataloader:
imgs, targets = data
print(imgs.shape)
# output = torch.reshape(imgs, (1, 1, 1, -1))
output = torch.flatten(imgs)
print(output.shape)
output = tudui(output)
print(output.shape)
'''
正则化层 Normalization Layers nn.BatchNorm2d
有一篇论文，意思是正则化层可以提高训练速度
参数只有一个，channel中的C，num_feature, 令其跟 channel 数相同即可，官方文档有个事例：
>>> # With Learnable Parameters
>>> m = nn.BatchNorm2d(100)
>>> # Without Learnable Parameters # 不含可学习参数
>>> m = nn.BatchNorm2d(100, affine=False) # 这里的 100，是跟着下一行的100（channel）设置的
>>> input = torch.randn(20, 100, 35, 45)
>>> output = m(input)
'''
'''
官方文档有一些写好的网络
'''
