《Multimodal Neural Network for Rapid Serial Visual Presentation Brain Computer Interface》这篇文章是2016年在Fronters in Computational Neuroscience上发表的。
摘要：
针对脑机接口的快速视觉呈现范式，提出了一种用于RSVP任务的多模态神经网络。
对RSVP任务分类主要是采用两种方法：线性和非线性的。计算机视觉与EEG结合的方法以前也有提出，有将eeg和图像分别进行特征提取，然后线性组合特征进行分类的；还有是采用迭代的形式，先使用eeg标记感兴趣的图像，然后使用cv对图像进行重新排序。作者是将图像和eeg进行融合构建网络。
文章的创新点：
1、相比于其他的线性算法，作者使用了非线性的方法，即神经网络。神经网络的优点之一是所有的构建块都可以链接在一起，可以在同一个目标函数上进行训练。
2、提出构建一个多模态网络，RSVP任务中有两种模态，图像和EEG
3、使用了两种模型，监督模型和半监督模型
实验方法
设计：
两名被试者，刺激物是卫星图像，目标是航空图像的建筑物；
要求被试者在一系列图像中找出有建筑物或者道路的图像。
神经网络结构：
1、监督式网络模型
对EEG进行特征提取，采用下述网络
对图像进行特征提取，采用下述网络
、
将上面提取的eeg和图像特征串联成一个特征向量，将其最后送入softmax层，如下图所示
整个网络的损失函数是逻辑回归损失函数：
2、半监督式网络模型
对eeg进行特征提取任然用上面的网络结构，对图像进行特征提取采用的是自编码器，模型如下：
前面是encoder后面是decoder，在训练的时候，仅仅用非目标图像进行训练，这是我的疑问点。
