0
点赞
收藏
分享

微信扫一扫

Darknet环境安装CUDANN实现推理加速


首先参考下面几篇文章安装darknet,cuda的基础环境: 

安装CUDANN

Nvidia显卡驱动和CUDA驱动安装好之后,通过nvidia-smi命令验证安装效果,如果出现下面的界面,则证明安装OK

Darknet环境安装CUDANN实现推理加速_目标检测

之后,就可以打开darknet/Makefile中的配置FLAG, GPU=1,OPENCV=1(事先安装OPENCV)

即可编译成功,但是此如如果打开CUDANN=1,则会报告如下错误:

Darknet环境安装CUDANN实现推理加速_深度学习_02

Darknet环境安装CUDANN实现推理加速_CUDA_03

所以,安装CUDA NN是我们不得不进行的一道工序,它独立于CUDA环境的安装,下面开始。

CUDANN安装地址在:

​​NVIDIA cuDNN | NVIDIA DeveloperNVIDIA cuDNN NVIDIA CUDA® 深度神经网络库 (cuDNN) 是经 GPU 加速的深度神经网络基元库。cuDNN 可大幅优化标准例程(例如用于前向传播和反向传播的卷积层、池化层、归一化层和激活层)的实施。 世界各地的深度学习研究人员和框架开发者都依赖 cuDNN 实现高性能 GPU 加速。借助 cuDNN,研究人员和开发者可以专注于训练神经网络及开发软件应用,而不必花时间进行低层级的 GPU 性能调整。cuDNN 可加速广泛应用的深度学习框架,包括 Caffe2、Chainer、Keras、MATLAB、MxNet、PyTorch 和 TensorFlow。如需获取经 NVIDIA 优化且已在框架中集成 cuDNN 的深度学习框架容器,请访问 NVIDIA GPU CLOUD 了解详情并开始使用。 下载 cuDNN     https://developer.nvidia.com/zh-cn/cudnn​​

Darknet环境安装CUDANN实现推理加速_深度学习_04

意外的是和安装CUDA和N卡驱动的白嫖不同,下载CUDANN还需要注册,胳膊宁不过大腿,还是先从了吧。

Darknet环境安装CUDANN实现推理加速_人工智能_05

登陆成功后的界面,黄老板真帅。

Darknet环境安装CUDANN实现推理加速_人工智能_06

之后就可以下载了:

Darknet环境安装CUDANN实现推理加速_目标检测_07

因为我们安装的是CUDA11.5,所以我选择的版本是

​​cuDNN Runtime Library for Ubuntu18.04 x86_64 (Deb)​​

视需求可以下在别的资料,比如文档,由于我们是拿来使用而非基于它二次开发,所以不选择开发者版本。

Darknet环境安装CUDANN实现推理加速_深度学习_08

下载过来的CUDA DEB包是这个样子, 虽然是库,但也不小了,果然如其名,又粗又大。

Darknet环境安装CUDANN实现推理加速_深度学习_09

 安装:

Darknet环境安装CUDANN实现推理加速_目标检测_10

安装后重开会话,重新编译darknet还是遇到同样的错误,查看DEB包内容,发现确实没有cudann.h文件。

Darknet环境安装CUDANN实现推理加速_github_11

 怀疑是下错包了,选择名字顺眼的(带有Library)的重新下载:

​​cuDNN Library for Linux (x86_64)​​

下载后:

Darknet环境安装CUDANN实现推理加速_人工智能_12

解压后,确实有我们需要的头文件:

Darknet环境安装CUDANN实现推理加速_CUDA_13

安装过程极其简单,只需要手动将cuda目录中的include,lib64目录拷贝到/usr/local/cuda-11.5/include 和 /usr/local/cuda-11.5/lib64两个目录即可

Darknet环境安装CUDANN实现推理加速_深度学习_14

 之后编译:

Darknet环境安装CUDANN实现推理加速_github_15

 执行推理:

Darknet环境安装CUDANN实现推理加速_深度学习_16

这次推理用了449.553000ms,至此,cudaNN安装总算完成了。

关于算力:

MX250显卡算例水平和GT550M相当,总体在2.0T略高的水平,虽然和高端显卡没法比,但是比嵌入式端侧产品中的动辄零点几TFOPS的NPU相比,还是强大很多的。

Darknet环境安装CUDANN实现推理加速_github_17

数据来源:

​​CUDA GPU | NVIDIA Developer

Darknet环境安装CUDANN实现推理加速_github_18

https://developer.nvidia.com/zh-cn/cuda-gpus#compute​​

结束!

举报

相关推荐

0 条评论