NVIDIA DALI从入门到放弃之一：概述

NVIDIA DALI从入门到放弃之一：概述

NVIDIA DALI从入门到放弃之二：入门示例

NVIDIA DALI从入门到放弃之三：Data Loading

NVIDIA DALI从入门到放弃之四：Multiple GPU

NVIDIA DALI从入门到放弃之五：Image Processing

NVIDIA DALI从入门到放弃之六：Geometric Transforms

NVIDIA DALI从入门到放弃之七：Sequence Processing

NVIDIA DALI从入门到放弃之八：PyTorch Plugin API

1 概述

目前典型的深度学习框架提供了两种预处理的流水线:
1.快速但是不灵活，使用C++编写，并且导出python的接口，只有一些典型的数据集有对应的预处理被导出
2.慢但是灵活，可由C++或python编写，并且可以用来组合任意的数据数据输入流水线，但是会比较慢。最大的问题在于python的全局线程锁，这迫使开发者不得不使用多进程的方式，使得输入流水线变得很复杂。

DALI提供了以上两种方式的支持，开发者不仅可以使用简单高效的引擎，还可以自定义处理，使能了GPU的离线加载。

• DALI(NVIDIA Data Loading Library)是高度优化用来加速计算机视觉深度学习应用的执行引擎。
• DALI主要用于优化数据加载和预处理的速度。
• DALI利用GPU进行预处理，可以极大的提高训练的效率.

2 特点

• 全数据管道加速 - 从磁盘读取到用于训练和推断的数据处理.
• 灵活性高 - 可配置图(configurable graphs)和定制操作子(custom operators).
• 支持图像分类和分割的数据加载.
• 易于整合 - 直接的框架插件和开源绑定(open source bindings).
• 训练工作流的便携性，支持多种输入格式：JPEG,
  PNG (fallback to CPU), TIFF (fallback to CPU), BMP (fallback to CPU), raw formats, LMDB, RecordIO, TFRecord.
• 定制化的可扩展性.

3 安装

针对CUDA10有

pip install