[[2010.08566] Reflective Decoding: Beyond Unidirectional Generation with Off-the-Shelf Language Models (arxiv.org)](https://arxiv.org/abs/2010.08566)
本文并不是论文的精读或者论文的粗读。这仅仅是我个人的论文阅读笔记。最主要的作用是为了帮助我更好的写出论文的。因此可能不适合想要粗略了解论文或者想要精读论文的人。
- 分层模型
- 预训练模型
- 句子填充（文本生成）
摘要
公开的大型预训练语言模型生成的文本质量很好，但只能从左到右依次生成。因此，它们不能立即适用于打破单向假设的生成任务，如改写或文本填充，需要特定于任务的监督。
在本文中，我们提出了REFLECTIVE DECODING，这是一种新的无监督算法，允许将单向LMs直接应用于非连续任务。
- 不需要监督
- 不需要平行语料库
只有两个现成的预训练语言模型，方向相反：向前和向后。
- 语境化：使用语言模型从输入中捕获上下文语境集合。
- 在反射步骤中，我们以这些“上下文集合”为条件生成输出。
综合实验结果表明，反射译码在意译和外展文本填充方面均优于强无监督基线，显著缩小了无监督和有监督方法之间的差距。
introduction
GPT2具有卓越的文本生成能力，GPT3在few-shot和one-shot上具有巨大潜力。但是GPT3计算成本比较大。
Prefix-tuning: Optimizing continuous prompts for generation. ArXiv,abs/2101.00190.使用较小的、可访问的模型（如 GPT-2）在少量设置中实现监督级别的性能。学习少量特定任务的向量作为输入的前缀，而无需调整模型本身。
本文工作旨在进一步推动这一概念，通过展示预训练语言模型，只需使用正确的解码算法即可解决复杂的生成问题。
提出REFLECTIVE DECODING。允许语言模型应用于打破“文本延续”范式的生成任务，例如释义和文本填充。反射解码不需要监督，只需要两个互补的现成 LM——一个前向（-→LM）和一个后向（←-LM）。即使在目标域中的非结构化文本上，也不会对每个任务进行微调。
文章没写相关工作。等我具体整理一下写作思路。
