摘要

癫痫等脑相关疾病可以通过分析脑电图(EEG)来诊断。然而，人工分析脑电图数据需要经过高度训练的临床医生，并且是一种已知具有相对较低的内部评分一致性(IRA)的程序。此外，数据量和新数据可用的速度使人工解释成为一个耗时、耗费资源和昂贵的过程。相比之下，脑电图数据的自动化分析通过缩短诊断时间和减少人工错误，为提高病人护理质量提供了潜力。在这篇论文中，我们将重点放在解读脑电图会话的第一步——识别大脑活动是否异常或正常。为了解决这一特定的任务，我们提出了一种新的循环神经网络(RNN)架构，称为ChronoNet，其灵感来自于图像分类领域的最新发展，旨在有效地处理脑电图数据。ChronoNet由多个一维卷积层叠加形成，然后是深层门控循环单元(deep gated recurrent unit, GRU)层，每个一维卷积层使用多个长度指数变化的滤波器，堆叠的GRU层以前馈方式紧密连接。我们使用最近发布的TUH异常脑电图语料库数据集来评估ChronoNet的性能。与以往使用该数据集的研究不同，ChronoNet直接以时间序列EEG作为输入，学习大脑活动模式的有意义表示。ChronoNet在此数据集上的表现优于先前报告的结果，因此设定了一个新的基准。此外，我们通过成功地将ChronoNet应用于分类语音命令来证明它的领域独立性质。

1 引言

脑电图(EEG)是一种通过记录患者颅骨和头皮的脑电活动来测量大脑活动的非侵入性方法，经常用于各种神经系统疾病的诊断和治疗，如癫痫、睡眠病、昏迷、脑病等。尽管与磁共振成像(MRI)和计算机断层扫描(CT)等脑成像技术相比，脑电图的空间分辨率较低，但由于其卓越的时间分辨率、低成本和无创性，脑电图已成为医生们流行的诊断工具。

由于症状并不能保证在任何时候都出现在脑电图信号中，通过脑电图解释来诊断神经系统疾病通常需要长期监测或多次短时间会话的记录。在这个过程中，会产生大量的数据，随后需要由专家调查人员手工解释。认证的专家研究人员相对较少，且数据量大，这使得脑电图的解读过程非常耗时，可能会在患者的治疗过程中造成数小时至数周的延迟。在脑电图解释任务中引入一定程度的自动化可以帮助神经科医生加快阅读过程，从而减少工作量。正因为如此，近年来，机器学习技术对EEG的自动解释得到了广泛的应用[7,20]。

当解读脑电图记录时，首先要评估所记录的信号是按照[15]表现出异常还是正常的大脑活动模式。这一决定可以影响开哪种药物或是否需要进一步的调查。通常，在决定记录显示的脑电图是正常还是异常时，都要考虑记录中的模式和病人的意识状态。训练有素的临床医生通常会根据一个复杂的决策表来进行区分。

我们工作背后的动机是自动化解释的第一步。我们使用最近发布的TUH异常脑电图语料库(TUH Abnormal EEG Corpus)来实现这一点，该语料库是迄今为止最大的此类数据集[17]，可在[1]免费获得。受时域信号分类成功的启发，我们利用原始EEG时间序列信号作为输入，探索循环神经网络(RNN)架构。这使我们与之前的文献[15,16,19]有所不同，在之前的文献中，作者使用了传统的机器学习算法，如k近邻、随机森林和隐藏马尔科夫模型，以及现代的深度学习技术，如卷积神经网络(CNN)，但没有使用RNNs来完成这项任务。

与最初使用手工设计特征的研究相比[15,16]，我们表明，将原始时间序列和rnn相结合，消除了提取手工设计特征的需要，并允许分类器自动学习相关模式，比他们的结果高出3.51%。从一维卷积层[8]、门控循环单元[4]、初始模块[22]和密集连接的网络[13]中汲取灵感，我们构建了一种名为ChronoNet的新型深门控RNN，其精度进一步提高了4.26%，与[15,16]报道的结果相比，总体提高了7.77%。此外，与最近发表的显示该数据集最先进性能的研究相比，ChronoNet获得了1.17%的更好的结果，从而为TUH异常脑电图语料库设置了一个新的基准。综上所述，本文的主要贡献有：

网络架构：我们将初始层与指数变化的核长度用于一维卷积层，并结合紧密相连的循环层。
应用：我们在EEG分类任务中实现了最先进的性能，并系统地展示了每个成分如何影响性能

通过将ChronoNet应用于语音命令数据集[25]，我们展示了它对于一般时间序列分析的实用性，而不仅仅是EEG解释。

2 背景与理论

原始脑电图信号是一种时间记录，可以在不同的时间尺度上表现出规律和周期性。一种成功地用于分类时间信号的方法，例如语音，是使用循环神经网络(RNNs)。在本节中，我们首先描述RNN的工作原理。接下来是一个现代和复杂的循环单元的描述，称为门控循环单元(GRU)，它非常适合学习长期的依赖性和相关性。然后，我们将讨论初始模块和密集连接神经网络的概念(在卷积神经网络中使用的概念)，我们将使用这些概念对EEG数据进行分析，以分别解释出现在不同尺度上的模式和缓解消失梯度。这些原理和模块的集合为理解第3节中提出的ChronoNet架构提供了必要的基础。

2.1 循环神经网络

RNNs是一种用于处理可变长度序列数据的神经网络。RNN保持着一个循环的隐藏状态，它每次的激活都依赖于前一个时间步的激活。更正式的说法是，给定一个序列 $x = (x_1, x_2，…， x_T)$ ，在每个时间步长t时，RNN根据当前输入向量 $x_T$ 和前一隐状态 $h_{t−1}$ 更新其递归隐状态 $h_t$ ，如下所示：
在这里插入图片描述
在经典的RNN中，对式(1)的递归隐单元进行如下更新：

其中f是一个点态非线性激活函数，如logistic s形函数或双曲正切函数。虽然式(2)允许RNN处理任意长度的序列，但可以观察到，在训练[3]时， $f$ 的梯度可以在长序列上指数增长或衰减。这种现象使得RNN很难学习长期的依赖性和相关性。解决这个问题的一种方法是设计更复杂的循环单位，通过使用门控单位计算一个仿射变换，然后是一个简单的单元非线性。目前常用的两种模型是长短期记忆(LSTM)[11,9]和门控循环单元(GRU)[4]。虽然已有研究表明LSTM和GRU的表现明显优于经典rnn，但两者中哪一个表现更好尚未得到最终的证明[6]。在本文中，我们使用GRU，因为它比LSTM使用更少的参数，因此在需要数据进行泛化的情况下提供了更快的训练时间。

2.2 门控循环单元

门控循环单元(GRU)通过在由式(2)导出的中间候选隐藏状态 $\widetilde{h}_t$ 与前一个隐藏状态 $h_t$ 的值之间执行线性插值产生隐藏状态 $h_{t-1}$ 的当前值。一个GRU使用两个门:一个更新门 $z_t$ 控制前一个状态被覆盖的程度，一个重置门 $r_t$ 决定在计算候选隐藏状态时前一个状态应该被遗忘的程度。更正式的GRU模型可以用以下数学形式表示:
在这里插入图片描述
其中 $g$ 和 $σ$ 为非线性激活函数，⊙表示element-wise乘法。

2.3 Inception模块

Inception模块是由Szegedy等人提出的，[22]作为GoogLeNet架构的构建模块。与传统的卷积神经网络不同，Inception模块在卷积层中使用不同大小的过滤器来捕获不同抽象层次的特征。对不同尺度的视觉信息进行处理和聚合，可以使网络有效地提取相关特征。通常，该模块使用三个尺寸为1 × 1，3 × 3和5 × 5的过滤器。此外，还提出了一种可选的并行路径，实现了3 × 3最大池操作。然而，天真地在卷积层中引入更多的过滤器会增加参数的数量。与传统的CNN相比，这使得网络的训练在计算上更加密集。因此，在Inception模块中包含1 × 1过滤器，以实现降维的“bottleneck层”。

2.4 DenseNet

DenseNet是[13]最近提出的一种深度卷积神经网络体系结构。DenseNet的主要思想是，它以前馈方式将每一层与其他每一层连接起来。每一层使用前面所有层的特征图作为输入，并将自己的特征图作为输入传递给后面所有层。因此，传统的L层CNN有L连接，而DenseNet中有 $L (L + 1) / 2$ 个直接连接。

DenseNet减轻了在非常深的网络[10]中观察到的消失/爆炸梯度的问题。它通过在反向传播期间为梯度提供快捷路径来实现这一点。这允许学习算法在训练过程中选择适当的模型复杂度。

明天更新