从2020年的初出茅庐，到2021年的日趋火热，再到2022年的大放异彩，扩散模型(Diffusion Models)
如果还不是特别了解扩散模型的朋友，可以阅读卖萌屋的几篇历史推文《扩散模型在图像生成领域大火，风头超过GAN？》， 《年末回顾：2021年 AI 领域十大研究趋势及必读论文》。
扩散模型最早在图像生成领域大火，随后扩展到了其他连续域，例如语音、视频、点云数据，最近Google发布的用于文本到图像生成的GLIDE模型，更是让扩散模型从AI圈内火到了圈外。
不过，虽然扩散模型的热度极高，但是面向离散变量的扩散模型的性能一直欠佳，特别是在语言，图等结构当中。
最近，斯坦福大学自然语言处理研究组在利用扩散模型解决自然语言处理问题中取得了新的进展。
具体说来，在可控自然语言生成任务上，研究者们利用连续扩散模型，对预训练的语言生成模型进行可插拔的操控，就能够在许多任务上达到甚至超过Fine-Tuning的效果，大幅度超越了之前的工作。
这篇工作从方法和实验上都非常的新颖和扎实，短短一周就已经在Twitter上收获了千赞，在Github上收获了140个stars。
下面，就让我们一起来了解这篇扩散模型在语言领域的应用工作吧，说不定也能给你的领域带来启发呢~
论文标题:
Diffusion-LM Improves Controllable Text Generation
链接：
https://arxiv.org/pdf/2205.14217.pdf
声明：本文原创首发于公众号“夕小瑶的卖萌屋”，作者：Yimin_饭煲
传送门： 夕小瑶的卖萌屋，内含海量NLP论文综述、论文解读、入门资料等，一个每日每月挖掘重磅前沿论文的神器，以及聚集数万NLPer、CVer和算法工程师的技术交流群～
实验结果
Diffusion-LM相比之前的同类方法有极为显著的提升，特别是在部分任务上，甚至可以达到和微调相似的结果。
组合控制是可控文本生成的另一个常见场景。给定关于多个独立任务的控制条件，要求模型生成满足多个控制条件的文本。Diffusion LM在这一场景下也表现出了更好的控制成功率。
结语
扩散模型受到了非平衡热力学的启发，具有良好的数学表达形式。在图像生成任务上优秀的性能证实了其不是徒有虚表的“花瓶”，而是深度学习时代的一大杀器。尽管扩散模型仍然具有计算时间长等问题，我们仍可以期待其在更多模态的数据和任务上取得惊人的表现！
作者：Yimin_饭煲
传送门： 夕小瑶的卖萌屋，内含海量NLP论文综述、论文解读、入门资料等，一个每日每月挖掘重磅前沿论文的神器，以及聚集数万NLPer、CVer
