0
点赞
收藏
分享

微信扫一扫

神经网络入门

李雨喵 2022-03-17 阅读 183

神经网络入门

文章目录


神经网络的核心组件,即 网络目标函数优化器

1、神经网络剖析

  • 训练神经网络主要围绕以下四个方面:

    1. ,多个层组合成网络(或模型);
    2. 输入数据相应的目标
    3. 损失函数,即用于学习的反馈信号
    4. 优化器决定学习过程如何进行
  • 层:深度学习的基础组件

    神经网络的基本数据结构是层。层是一个数据处理模块,将一个或多个输入张量转换为一个或多个输出张量。

    有些层是无状态的,但大多数的层是有状态的,即层的权重权重是利用随机梯度下降学到的一个或多个张量,其中包含网络的知识

    不同的张量格式与不同的数据处理类型需要用到不同的层

    1. 简单的向量数据保存在形状为 (samples, features) 的 2D 张量中,通常用密集连接层[ densely connected layer,也叫全连接层( fully connected layer)或密集层( dense layer),对应于 Keras 的 Dense 类]来处理;
    2. 序列数据保存在形状为 (samples, timesteps, features) 的 3D 张量中,通常用循环层( recurrent layer,比如 Keras 的 LSTM 层)来处理;
    3. 图像数据保存在 4D 张量中,通常用二维卷积层( Keras 的 Conv2D)来处理。

    在 Keras 中,构建深度学习模型就是将相互兼容的多个层拼接在一起,以建立有用的数据变换流程。这里层兼容性( layer compatibility)具体指的是每一层只接受特定形状的输入张量,并返回特定形状的输出张量。

    from keras import layers
    
    layers = layers.Dense(32, input_shape=(784,))
    

    我们创建了一个层,只接受第一个维度大小为 784 的 2D 张量(第 0 轴是批量维度,其大小没有指定,因此可以任意取值)作为输入。这个层将返回一个张量,第一个维度的大小变成了 32。

    因此,这个层后面只能连接一个接受 32 维向量作为输入的层。使用 Keras 时,你无须担心兼容性,因为向模型中添加的层都会自动匹配输入层的形状:

    from keras import models
    from keras import layers
    
    model = models.Sequential()
    model.add(layers.Dense(32, input_shape=(784,)))
    model.add(layers.Dense(32))
    

    其中第二层没有输入形状( input_shape)的参数,相反,它可以自动推导出输入形状等于上一层的输出形状。

  • 模型:层构成的网络

    深度学习模型是层构成的有向无环图

    网络的拓扑结构定义了一个假设空间( hypothesis space)。之前机器学习的定义:“在预先定义好的可能性空间中,利用反馈信号的指引来寻找输入数据的有用表示。”选定了网络拓扑结构,意味着将可能性空间(假设空间)限定为一系列特定的张量运算,将输入数据映射为输出数据。然后,你需要为这些张量运算的权重张量找到一组合适的值。

  • 损失函数与优化器:配置学习过程的关键

    一旦确定了网络架构,你还需要选择以下两个参数:

    1. 损失函数( 目标函数)——在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成;
    2. 优化器——决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降( SGD)的某个变体。

    具有多个输出的神经网络可能具有多个损失函数(每个输出对应一个损失函数)。但是,梯度下降过程必须基于单个标量损失值。因此,对于具有多个损失函数的网络,需要将所有损失函数取平均,变为一个标量值

    一定要明智地选择目标函数,否则你将会遇到意想不到的副作用:

    1. 对于二分类问题,你可以使用二元交叉熵( binary crossentropy)损失函数
    2. 对于多分类问题,可以用分类交叉熵( categorical crossentropy)损失函数
    3. 对于回归问题,可以用均方误差( mean-squared error)损失函数
    4. 对于序列学习问题,可以用联结主义时序分类( CTC, connectionist temporal classification)损失函数

2、Keras

  • 使用 Keras 开发:概述


3、电影评论分类:二分类问题

  • 准备数据

    与 MNIST 数据集一样, IMDB 数据集也内置于 Keras 库。它已经过预处理:评论(单词序列)已经被转换为整数序列,其中每个整数代表字典中的某个单词

    from keras.datasets import imdb
    
    (train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000)
    

    参数 num_words=10000 的意思是仅保留训练数据中前 10 000 个最常出现的单词。

    train_data 和 test_data 这两个变量都是评论组成的列表,每条评论又是单词索引组成的列表(表示一系列单词)train_labels 和 test_labels 都是 0 和 1 组成的列表,其中 0代表负面( negative), 1 代表正面( positive)

    你不能将整数序列直接输入神经网络。你需要将列表转换为张量。转换方法有以下两种:

    1. 填充列表,使其具有相同的长度,再将列表转换成形状为 (samples, word_indices) 的整数张量,然后网络第一层使用能处理这种整数张量的层;
    2. 对列表进行 one-hot 编码,将其转换为 0 和 1 组成的向量。举个例子,序列 [3, 5] 将会被转换为 10 000 维向量,只有索引为 3 和 5 的元素是 1,其余元素都是 0。然后网络第一层可以用 Dense 层,它能够处理浮点数向量数据。
    import numpy as np
    def vectorize_sequences(sequences, dimension=10000):
        results = np.zeros((len(sequences), dimension))
        for i, sequence in enumerate(sequences):
            results[i, sequence] = 1.
        return results
    
    x_train = vectorize_sequences(train_data)
    x_test = vectorize_sequences(test_data)
    

    你还应该将标签向量化:

    y_train = np.asarray(train_labels).astype('float32')
    y_test = np.asarray(test_labels).astype('float32')
    
  • 构建网络

    输入数据是向量,而标签是标量(1 和 0),这是你会遇到的最简单的情况。有一类网络在这种问题上表现很好,就是带有 relu 激活的全连接层(Dense)的简单堆叠,比如 Dense(16, activation=‘relu’)。

    传入 Dense 层的参数(16)是该层隐藏单元的个数一个隐藏单元(hidden unit)是该层表示空间的一个维度。每个带有 relu 激活的 Dense 层都实现了下列张量运算:
    o u t p u t = r e l u ( d o t ( W , i n p u t ) + b ) output = relu(dot(W, input) + b) output=relu(dot(W,input)+b)
    16 个隐藏单元对应的权重矩阵 W 的形状为 (input_dimension, 16),与 W 做点积相当于将输入数据投影到 16 维表示空间中(然后再加上偏置向量 b 并应用 relu 运算)。

    你可以将表示空间的维度直观地理解为 “网络学习内部表示时所拥有的自由度”。隐藏单元越多(即更高维的表示空间),网络越能够学到更加复杂的表示,但网络的计算代价也变得更大,而且可能会导致学到不好的模式(这种模式会提高训练数据上的性能,但不会提高测试数据上的性能)

    选择的架构:

    1. 两个中间层,每层都有 16 个隐藏单元;
    2. 第三层输出一个标量,预测当前评论的情感。
    from keras import models
    from keras import layers
    
    model = models.Sequential()
    model.add(layers.Dense(16, activation='relu', input_shape=(10000,)))
    model.add(layers.Dense(16, activation='relu'))
    model.add(layers.Dense(1, activation='sigmoid'))
    

    中间层使用 relu 作为激活函数,最后一层使用 sigmoid 激活以输出一个 0~1 范围内的概率值(表示样本的目标值等于 1 的可能性,即评论为正面的可能性)。

    • relu( rectified linear unit,整流线性单元)函数将所有负值归零
    • 而 sigmoid 函数则将任意值 “压缩” 到 [0,1] 区间内,其输出值可以看作概率值

    在这里插入图片描述

    最后,你需要选择损失函数优化器

    1. 由于你面对的是一个二分类问题网络输出是一个概率值(网络最后一层使用 sigmoid 激活函数,仅包含一个单元),那么最好使用 binary_crossentropy(二元交叉熵)损失
    2. 优化器选择 rmsprop 优化器

    下面的步骤是用 rmsprop 优化器和 binary_crossentropy 损失函数来配置模型。注意,我们还在训练过程中监控精度

    model.compile(optimizer='rmsprop',
                  loss='binary_crossentropy',
                  metrics=['accuracy'])
    

    上述代码将优化器、损失函数和指标作为字符串传入,这是因为 rmsprop、 binary_crossentropy 和 accuracy 都是 Keras 内置的一部分。有时你可能希望配置自定义优化器的参数,或者传入自定义的损失函数或指标函数。前者可通过向 optimizer 参数传入一个优化器类实例来实现后者可通过向 loss 和 metrics 参数传入函数对象来实现

  • 验证你的方法

    为了在训练过程中监控模型在前所未见的数据上的精度,你需要将原始训练数据留出 10 000个样本作为验证集:

    现在使用 512 个样本组成的小批量,将模型训练 20 个轮次(即对 x_train 和 y_train 两个张量中的所有样本进行 20 次迭代)。

    与此同时,你还要监控在留出的 10 000 个样本上的损失和精度。你可以通过将验证数据传入 validation_data 参数来完成:

    history = model.fit(partial_x_train,
                        partial_y_train,
                        epochs=20,
                        batch_size=512,
                        validation_data=(x_val, y_val))
    

    注意,调用 model.fit() 返回了一个 History 对象这个对象有一个成员 history,它是一个字典,包含训练过程中的所有数据:

    history_dict = history.history
    history_dict.keys() #dict_keys(['loss', 'accuracy', 'val_loss', 'val_accuracy'])
    

    字典中包含 4 个条目,对应训练过程和验证过程中监控的指标

    使用 Matplotlib 在同一张图上绘制训练损失和验证损失,以及训练精度和验证精度

    import matplotlib.pyplot as plt
    
    history_dict = history.history
    loss_values = history_dict['loss']
    val_loss_values = history_dict['val_loss']
    
    epochs = range(1, len(loss_values) + 1)
    
    plt.plot(epochs, loss_values, 'bo', label='Training loss')
    plt.plot(epochs, val_loss_values, 'b', label='Validation loss')
    plt.title('Training and validation loss')
    plt.xlabel('Epochs')
    plt.ylabel('Loss')
    plt.legend()
    
    plt.show()
    
    plt.clf()
    acc = history_dict['accuracy']
    val_acc = history_dict['val_accuracy']
    
    plt.plot(epochs, acc, 'bo', label='Training accuracy')
    plt.plot(epochs, val_acc, 'b', label='Validation accuracy')
    plt.title('Training and validation accuracy')
    plt.xlabel('Epochs')
    plt.ylabel('Accuracy')
    plt.legend()
    
    plt.show()
    

    这里产生了过拟合(overfit)。

  • 使用训练好的网络在新数据上生成预测结果

    训练好网络之后,你希望将其用于实践。你可以用 predict 方法来得到评论为正面的可能性大小:

    model.predict(x_test)
    

总结

  1. 通常需要对原始数据进行大量预处理,以便将其转换为张量输入到神经网络中。单词序列可以编码为二进制向量,但也有其他编码方式;
  2. 带有 relu 激活的 Dense 层堆叠,可以解决很多种问题(包括情感分类)
  3. 对于二分类问题(两个输出类别),网络的最后一层应该是只有一个单元并使用 sigmoid 激活的 Dense 层,网络输出应该是 0~1 范围内的标量,表示概率值
  4. 对于二分类问题的 sigmoid 标量输出,你应该使用 binary_crossentropy 损失函数;
  5. 无论你的问题是什么, rmsprop 优化器通常都是足够好的选择
  6. 随着神经网络在训练数据上的表现越来越好,模型最终会过拟合,并在前所未见的数据上得到越来越差的结果。一定要一直监控模型在训练集之外的数据上的性能。
举报

相关推荐

0 条评论