论文笔记 EMNLP 2021|Modeling Document-Level Context for Event Detection via Important Context Selection

文章目录

• • 1 简介
  • • 1.1 创新
  • 2 方法
  • • 2.1 预测模型
    • 2.2 上下文选择
  • 3 实验

1 简介

论文题目：Modeling Document-Level Context for Event Detection via Important Context Selection
论文来源：EMNLP 2021
组织机构：俄勒冈大学
论文链接：https://aclanthology.org/2021.emnlp-main.439.pdf
代码链接：

1.1 创新

• 提出一个模型，通过选择句子的重要上下文(不需要对长句子进行截断)，使用BERT进行事件检测(序列标注和词分类)，性能得到SOTA。

2 方法

模型主要包括两个部分：事件检测预测模型和上下文选择。

2.1 预测模型

将上下文选择模型选择的句子标记为C，按照在文档的位置分为两个子集LC和RC。然后选择的上下文和当前句子表示为文档$D^{\prime }$:
$D^{\prime }=[[CLS],w_1^{LC},w_2^{LC},...,w_{nLC}^{LC},[SEP],w_1,w_2,...,w_n[SEP],w_1^{RC},w_2^{RC},...,w_{nRC}^{RC}]$
然后通过BERT进行编码，最后进行分类，序列标注和词分类的Loss如下：

2.2 上下文选择

该部分对上下文进行选择，首先使用BERT得到句子$S_j$相对于当前句$S_i$的编码(拼接起来，使用CLS表示)，然后使用LSTM对以前选择的句子进行编码，每个time step输出一个最大概率句子为当前选择的句子(以前未被选择过的句子)，直到超过BERT的输出长度(512)结束，公式如下：

训练：

3 实验

实验数据集为ACE 2005和CySecED(300篇文章(30个空间安全类型))，实验结果如下：

消融实验：

提出的上下文选择方法与启发式的选择方法对比：

Case Study: