什么是 vision-and-language？我们知道 Computer Vision（计算机视觉）和 Natural Language Processing （自然语言处理）一直是两个独立的研究方向。计算机视觉是一门研究如何使机器 “看”的科学，而自然语言处理是人工智能和语言学领域的分支学科，主要探索的是如何使机器”读”和“写”的科学。他们相通的地方是，都需要用到很多机器学习，模式识别等技术，同时，他们也都受益于近几年的深度神经网络的进步，可以说这两个领域目前的 state-of-art，都是基于神经网络的，而且很多任务，比如 CV 里的物体识别检测，NLP 里的机器翻译，都已经达到了可以实用的程度。于是从 2015 年开始，有一个趋势就是将视觉与语言进行一定程度的结合，从而产生出一些新的应用与挑战。比如 image captioning，visual question answering 等比较经典的 vision-and-language 任务。

    随着这些工作的提出，vision-and-language 也变成了一个越来越热门和主流的研究领域。这张图显示的是 2019 年 CVPR paper submission 的统计，我们可以看到 vision-language 占了所有 submission 的 4%，甚至比比较传统的 tracking，action recognition 都要高。说明越来越多的人在关注并且研究这个方向。

本资源整理了视觉与语言（vision-and-language）相关的各个子任务及相关的模型，经典的论文，综述，数据集等资源。

    资源整理自网络，源地址：https://github.com/sangminwoo/awesome-vision-and-language

目录

内容截图