简述
在本地数据集合上测试libtorch和tensorrt的推理速度
内容
模型
基于YOLOv5的检测模型、分割模型和分类模型
数据集
检测数据集是电路板的电子器件图
检测数据集参数：图像大小128*128
图像类别 5
分割数据集是电池的缺陷检测数据集
分割数据集参数：图像大小224*224
图像类别 6
推理效果
模型检测效果
模型分割效果
框架速度比较
在libtorch和Tensorrt上的推理速度比较：
模式 | 推理框架 | 预处理时间（ms） | 推理时间（ms） | NMS后处理时间（ms） |
目标检测 | Libtorch | 0.2 | 17.8 | 0.9 |
TensorRT（python） | 0.5 | 4.8 | 1.3 | |
TensorRT（c++） | 0.118 | 4.74 | 0.01 | |
物体分割 | Libtorch | 0.4 | 7.6 | 1.2 |
TensorRT（python） | 11.0 | 2.9 | 1.3 | |
TensorRT（c++） | 0.66 | 3.09 | 1.1 |
多线程速度对比
将预处理过程、推理过程、后处理过程集成到一个线程中，比较不同线程下的速度；
Tensorrt多线程下的速度对比：
模式 | 测试图大小 | 测试图数目 | 推理框架 | 线程数 | 时间（初始化和读图） |
物体分割 | 224*224 | 97 | TensorRT（c++） | 1 | 1568ms |
2 | 1290ms | ||||
4 | 1106ms |
模式 | 测试图大小 | 测试图数目 | 推理框架 | 线程数 | 时间 |
目标分类 | 640*640 | 400 | TensorRT（c++） | 1 | 3178ms |
2 | 1754ms | ||||
4 | 1316ms |
