Main Technical Track

Knowledge Bridging for Empathetic Dialogue Generation

论文地址：https://arxiv.org/abs/2009.09708

说之前先说一下Empathetic Dialogue，我也是NLP刚入门，再加上对话方面看得比较少，看也是只看对话生成。所以还是我第一次看到Empathetic Dialogue这个词，翻译器翻译的话就叫“移情对话”，也看不懂到底是什么意思。这里就用嘤嘤词典的释义解释一下：

empathetic

韦氏词典：involving, characterized by, or based on empathy

柯林斯：Someone who is empathetic has the ability to share another person's feelings or emotions as if they were their own.

所以就是有同理心的，能感同身受的，换言之，善解人意的。

Empathetic Dialogue我的理解就是让对话系统更善解人意。

为了让对话系统能更善解人意，既要让对话系统变得更加empathetic。起初许多研究人员是通过指定明确的情感标签来进行这一项任务的。但是如果没有情感标签的话，还是很难进行移情对话。当然也有许多其他优秀的工作提出了相应的解决办法，但是他们忽略了一点。对于人类来说，我们通常是依靠经验和外部知识来获取隐含的情绪的。从这个角度考虑，我们可以让对话系统引入外部知识。下图就显示了一个移情对话的实例：如果我们使用说话者输入的一些非停用词作为查询，通过引入外部知识，我们可以获得各种与情绪有关的概念，以及其情绪强度值。这对移情对话的改进有着至关重要的作用。

这篇文章定量研究了外部知识在情感理解方面对移情对话语料库的影响。下图的左边是回答与对话历史几乎没有非停用词的重叠。也就是说你前面的历史对话和我现在的回复几乎是没有重叠的词语的。这种现象意味着人类需要需要推断出更多的外部知识来进行移情对话。当然机器更需要这样。如果我们引入外部知识。我们可以观察到下图右边，对于大多数对话样本聊天机器人可以直接从对话历史的非停用tokens的支持路径中获取提示。由此可见引入外部知识对于情感对话系统或许有用的情感知识，提高移情对话生成性能有很重要的作用。

但是对于现在的移情对话生成来说，对于来自外部知识的。情感感知依旧是个问题。

这篇文章在调查过程中还发现了另外一种现象，也就是情感依赖和情感惯性在对话中通常和外部知识是一起出现的。对对话者之间的情感依赖进行建模也很重要。

文中使用情绪分类器对对话双方的情绪进行了可视化。从对角线的网格可以看得出，听者对于说话者的情绪反应是相对应的。除了对角线之外，还有红框框内的一些方块，表示一些复杂的情感过渡模式。

文章是提出了一种知识感知的对话生成方法：

情绪上下文图：是通过历史对话与外部知识相结合来构建图。
情绪上下文编码器：学习图嵌入。
情绪依赖解码器：利用上下文图，模拟情绪，并产生移情回复。对不对。

文章在EMPATHETICDIA-LOGUES (Rashkin et al. 2019)进行了大量实验，表明其有效性。

Novelty Controlled Paraphrase Generation with Retrieval Augmented Conditional Prompt Tuning

论文地址：https://arxiv.org/abs/2202.00535v1

释义生成就是对指定的文本进行改写，要保持文本原来的含义。这项工作有很多的应用，比如说语义解析、文本简化、查询重写、数据增强等等。作为一名炼丹的好手，要将预训练语言模型应用于一些NLP的任务，最标准方法就是微调模型中的参数。但是随着这些预训练模型日益增大，参数逐渐增多，现在都是以亿为数量级的。微调它的所有参数并不是一个好的办法。当然了现在为了解决这个问题，也出来了各种各样的方法。比如：

Parameter-Efficient Transfer Learning for NLP.
AutoPrompt: Eliciting Knowledge from Language Models with Automatically Generated Prompts.
LoRA: Low-Rank Adaptation of Large Language Models.

这些方法可以将可训练的参数数量减少数千倍。

沿着这个方向，这篇文章提出了RAPT，使用一种基于kNN的检索方式，检索到示例用于对模型的提示和增强，一是进一步提高释义生成的质量。

此外这篇文章还对生成释义的新颖性进行了研究。 所谓“新颖性”就是生成的释义文本与输入原文的编辑距离。也就是两段话之间的单词删除、单词插入、单词替换等。在保持原有意思不变的情况下，更改的越多，就认为这个句子新颖性越高。本文还提出了NC-RAPT，通过它用户可以自行控制新颖程度。对于释义的新颖性进行一个可控的输出。

文章在四个数据集上使用多个指标进行实验，实验做的十分充足，结果如下：