0
点赞
收藏
分享

微信扫一扫

NVIDIA DALI从入门到放弃之一:概述

NVIDIA DALI从入门到放弃之一:概述

NVIDIA DALI从入门到放弃之二:入门示例

NVIDIA DALI从入门到放弃之三:Data Loading

NVIDIA DALI从入门到放弃之四:Multiple GPU

NVIDIA DALI从入门到放弃之五:Image Processing

NVIDIA DALI从入门到放弃之六:Geometric Transforms

NVIDIA DALI从入门到放弃之七:Sequence Processing

NVIDIA DALI从入门到放弃之八:PyTorch Plugin API

1 概述

目前典型的深度学习框架提供了两种预处理的流水线:
1.快速但是不灵活,使用C++编写,并且导出python的接口,只有一些典型的数据集有对应的预处理被导出
2.慢但是灵活,可由C++或python编写,并且可以用来组合任意的数据数据输入流水线,但是会比较慢。最大的问题在于python的全局线程锁,这迫使开发者不得不使用多进程的方式,使得输入流水线变得很复杂。

DALI提供了以上两种方式的支持,开发者不仅可以使用简单高效的引擎,还可以自定义处理,使能了GPU的离线加载。

NVIDIA DALI从入门到放弃之一:概述_深度学习

  • DALI(NVIDIA Data Loading Library)是高度优化用来加速计算机视觉深度学习应用的执行引擎。
  • DALI主要用于优化数据加载和预处理的速度。
  • DALI利用GPU进行预处理,可以极大的提高训练的效率.

2 特点

  • 全数据管道加速 - 从磁盘读取到用于训练和推断的数据处理.
  • 灵活性高 - 可配置图(configurable graphs)和定制操作子(custom operators).
  • 支持图像分类和分割的数据加载.
  • 易于整合 - 直接的框架插件和开源绑定(open source bindings).
  • 训练工作流的便携性,支持多种输入格式:JPEG,
    PNG (fallback to CPU), TIFF (fallback to CPU), BMP (fallback to CPU), raw formats, LMDB, RecordIO, TFRecord.
  • 定制化的可扩展性.

3 安装

针对CUDA10有

pip install


举报

相关推荐

0 条评论