#工业缺陷检测中数据标注需要注意的几个事项
在工业场景中，网络结构决定了下限，数据决定着上限，要想模型有好的表现，数据是至关重要的。下面就这个项目来说一说，工业缺陷检测在标注数据时需要注意的几个事项：
1、离得比较近的缺陷就合并在一个框里
以上两个图里的缺陷都是可以合并的，一是为了保持缺陷的完整性，同一个缺陷被标注成好多个，会给神经网络造成误解，同时也避免出现多个小目标。
2、尽量不要有太细长的目标
神经网络的卷积基本上都是3*3的，而且先验框anchor在设计宽高比时一般也是在1左右，回归非常细长的目标，需要比较大的感受野和宽高比，不一定能做得很好。如图左边那块目标，可以合并一下，稍微标大一点，把长宽比例搞得居中一点。
3、不要打太小的目标，比如低于10x10像素的
模型一般都对小目标不敏感，除非采用比较好的trick，就拿YOLOv4来说，到第三次下采样的特征图才拿去后面做检测，也就是在原图上最小都有8个像素，才能在特征图上体现为1个像素。有人会杠了，那我的目标就是小目标啊，小哥，我说了，另外还有很多trick的，不在本文讨论范围，打标签这个环节你要么打大点，要么不要打，或者把局部区域放大成大图，再打标签，不然送到模型里头，也是没用的。这跟严谨不严谨没有任何关系。
YOLOv4网络结构图
4、不要标注特别不明显的特征
这一条相信都能理解，特征连人都认不出来，哪个网络都不好识别吧。像这种标注框，恐怕谁都不好认吧。
5、框的位置尽量准确一点，把缺陷部分刚好框进去
像右下角那个框，完全可以打大点吧。
6、需要检测的缺陷在训练集中至少要出现一次相似的
另外，需要多说一句，跟标注无关的。就是虽然都是缺陷，但实际上也分很多种的，如果训练集里都没有出现过相似的，就基本上别指望测试时能够检测出来了。比如下图中，虽然只划分了一类缺陷，但是从特征的角度来说，实际上已经是好几类了，比如划痕、凸起、裂开。还是回到开头那句话：网络结构决定了下限，数据决定上限。目前的技术，不靠大量的数据喂，是训练不出很好的模型的。
#深度学习~轮胎缺陷检测系统
一个基于深度学习轮胎缺陷检测系统方案。
背景介绍
由于全球制造业面临着在最短的时间内向市场推出多种最高质量产品的压力，因此所有职能向人工智能驱动的自动化的转变已成为必然。
在质量检测方面，人工智能驱动的计算机视觉系统已经能够简化生产流程，使产品符合公司制定的质量标准。这反过来又带来了更高效率、更低运营成本的优势，同时实现 24/7 生产和更快的决策。
全球轮胎制造商一直是质量保证等各个领域人工智能技术的早期采用者之一。人工智能的主要应用之一是使用基于深度学习的计算机视觉系统进行轮胎缺陷检测。由于轮胎制造过程中使用的原材料的性质，轮胎部件可能会受到金属或非金属杂质（例如钢丝、螺钉和塑料碎片）、气泡和重叠的污染。当轮胎有缺陷的车辆高速行驶时，这些缺陷会导致轮胎寿命缩短，甚至爆胎。
轮胎缺陷检测
要准确检测轮胎缺陷，需要解决的主要问题是：
- 模仿手动测试并集成到现有的制造和质量控制流程中
- 具有机械夹具，可自动调整以适应操作员放置的不同轮胎尺寸，并旋转，以便在一次旋转中捕获轮胎的内壁和外壁。
- 以最佳旋转速度捕获图像、处理、分析和检测故障。
- 在每个故障位置停车并在轮胎上标记缺陷
- 轻松安全地释放轮胎
轮胎缺陷类型
在轮胎制造过程中常见的 80 多种可能存在的缺陷中，我们会进行隔离以创建严重程度集合。各个轮胎制造商根据其独特的化学配方和机械制造工艺，有自己特定的分类方法。通常，大约 30 多个此类类别被认为是高度严重的。下图描述了这些缺陷类别的有限样本：
图 1：有缺陷的轮胎：从左到右：SWC — 侧壁裂纹、RLC — 轮辋线裂纹、SWB — 侧壁气泡、模板编号偏移、倒角缺陷图 1：有缺陷的轮胎：从左到右：SWC — 侧壁裂纹、RLC — 轮辋线裂纹、SWB — 侧壁气泡、模板编号偏移、倒角缺陷
轮胎缺陷检测
轮胎质量检查的典型方法是使用 X 射线机并使用加权纹理差异等技术。然而，X 光机需要很大的空间并且非常昂贵。相反，我们使用 RGB 相机来捕捉轮胎的图像。为了解决轮胎缺陷检测问题，选择了实例分割（对象检测和分割的结合），以便可以识别图像中每个缺陷的每个实例，而不是像语义分割那样对每个像素进行分类。
数据生成
为了生成数据，使用了从已识别和标记缺陷的多个轮胎捕获的图像。使用 1080p 分辨率的摄像头来拍摄有缺陷的图像和“良好”图像的视频。从不同角度进行图像捕捉以提高概括性。
数据准备
数据准备是在处理和分析之前清理和转换原始数据的过程。这是处理之前的重要步骤，通常涉及标记数据、重新格式化数据和对数据进行更正。数据是通过从几个生成的视频中转储帧来收集的。然后使用LabelMe等标记工具标记感兴趣区域 (ROI) 内的缺陷部分。
实例分割
实例分割是一种检测对象然后在单个像素级别进行屏蔽的技术。它结合了 1) 对象检测，其中对帧中的每个单独对象进行分类和定位，以及 2. 语义分割，其中将每个像素分为预定义的类别。实例分割允许将标签附加到图像的每个像素。
Mask-RCNNMask-RCNN
Mask-RCNN 是一种深度神经网络，用于解决计算机视觉中的实例分割问题。Mask R-CNN 结合了两种著名的网络拓扑——Faster R-CNN 和全连接网络 (FCN)。Mask-RCNN 遵循两步过程。第一步，对于每个输入图像，生成有关对象可能存在的区域的建议。在第二步中，预测对象的类别，并根据第一步生成的建议为对象生成像素级掩模。
执行
我们使用 Mask-RCNN 的定制变体构建推理管道。基本的 Keras 实现可以在https://github.com/matterport/Mask_RCNN.git找到，相应的参考论文可以在https://arxiv.org/pdf/1703.06870.pdf找到
推理时间
未优化模型的推理时间如下表所示。
通过模型优化技术，每张图像的延迟可降低至 150 毫秒以下。
准确性
我们的定制模型能够实现 96% 的检测准确率。开发板商城 天皓智联 TB上有视觉设备哦 支持AI相关~ 大模型相关也可用 whaosoft aiot自动驾驶也可以哦
结论
这项检测轮胎缺陷的研发工作表明，实现轮胎质量检测过程的显着自动化是可能的。在实际系统中，如果需要高检测吞吐量，则需要自动检测夹具。这将包括多个摄像头，用于同时查看轮胎的外表面和内表面，一个用于将轮胎旋转 360 度的电机组件，以及一个可以同步轮胎运动、图像捕获和检测的控制系统。
