下载实验源码
https://github.com/microsoft/Oscar
服务器安装azcopy
给的都是azcopy的方式（第一次用），先安装azcopy
- wget -O azcopy.tar.gz https://aka.ms/downloadazcopy-v10-linux （服务器没通过，似乎是安全问题）
- https://docs.microsoft.com/zh-cn/azure/storage/common/storage-use-azcopy-v10#download-azcopy（官网手动下载，上传至服务器）
- 添加系统路径（参考文章 https://blog.csdn.net/rav009/article/details/103802232，将azcopy添加至系统路径，在文件末尾添加PATH）
使用azcopy下载数据集
-
不知道是服务器的网络原因还是什么别的原因，服务器无法使用azcopy，最后还是在windows上用azcopy下载，然后二手转交给服务器吧
-
问了一下，这几个数据集最小的也几十个G，大的几百G，我还是去调下服务器吧。。
-
服务器用校园网登陆就好了，之前是因为无法访问外网导致的似乎
-
下载到一半又断了，现在连重登陆都不行了（不会还计费吧。。。）
-
azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/datasets/coco_caption’ ‘/data/guojiahua/Oscar’ --recursive
-
azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/datasets/nocaps’ ‘/data/guojiahua/Oscar’ --recursive
-
azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/datasets/coco_ir’ ‘/data/guojiahua/Oscar’ --recursive
-
azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/datasets/vqa’ ‘/data/guojiahua/Oscar’ --recursive
-
azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/datasets/gqa’ ‘/data/guojiahua/Oscar’ --recursive
-
azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/datasets/nlvr2’ ‘/data/guojiahua/Oscar’ --recursive
-
azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/image_features/coco_X152C4_frcnnbig2_exp168model_0060000model.roi_heads.nm_filter_2_model.roi_heads.score_thresh_0.2/model_0060000/’ ‘/data/guojiahua/Oscar’ --recursive
-
azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/image_features/flickr30k_X152C4_frcnnbig2_exp168model_0060000model.roi_heads.nm_filter_2_model.roi_heads.score_thresh_0.2/model_0060000/’ ‘/data/guojiahua/Oscar’ --recursive
-
azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/image_features/coco_X152C4_frcnnbig2_exp168model_0060000model.roi_heads.nm_filter_2_model.roi_heads.score_thresh_0.2/model_0060000/’ ‘/data/guojiahua/Oscar’ --recursive
-
azcopy copy ‘https://biglmdiag.blob.core.windows.net/vinvl/image_features/gqa_X152C4_frcnnbig2_exp168model_0060000model.roi_heads.nm_filter_2_model.roi_heads.score_thresh_0.2/model_0060000/’ ‘/data/guojiahua/Oscar’ --recursive
环境安装
https://github.com/microsoft/Oscar/blob/master/INSTALL.md
服务器驱动最旧的是10.1的，没法装pytorch1.2.0，最后装的1.4.0，不知道会不会有影响
安装apex的时候需要nvcc。安装参考
https://blog.csdn.net/qq_34869928/article/details/100544888
最后参考的apex的GitHub主页上的安装方法安装成功了。
https://github.com/NVIDIA/apex
VPN安装
安装了XMANAGER和QV2RAY,但是并没有效果
下载还是全随缘
APEX版本问题
apex.amp模块找不到
找到了2020年发布的APEX旧版本，成功解决。
huggingface.transformer问题
ModuleNotFoundError: No module named ‘transformers.pytorch_transformers’
似乎是官方安装教程不太对，不要直接
要先把代码git下来，然后在目录里这样安装：
