Technical Articles
机器视觉在布匹外观检测中的应用
Date：2013-07-31
Source：九游会J9
一、 布匹生产在线检测概述
自动检测技术作为一种快速、实时、准确采集与处理信息的高新技术，已逐渐成为国民经济信息化、增强竞争力不可缺少的技术工具和手段。布匹在现代生产流水线上，需要判别出布匹的颜色是否合格、布匹上是否有杂质及杂质的数量。由于生产线运行速度较快，要求杂质分辨直径较小，用人工难以做到实时检测，事后抽样检测效率低下，且抽检后的产品仍然有存在瑕疵的可能。计算机的自动化，正好适合于快速实时地检测。布匹生产在线检测系统正是基于机器视觉的技术，快速高效的检测出布匹的颜色和存在的杂质。机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品（即图像摄取装置）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布、亮度和颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来识别图像的内容或控制现场的设备动作。
二、项目要求
在布匹的生产过程中，像布匹质量检测这种有高度重复性和智能性的工作只能靠人工检测来完成,在现代化流水线后面常常可看到很多的检测工人来执行这道工序,给企业增加巨大的人工成本和管理成本的同时,却仍然不能保证100 %的检验合格率（即“零缺陷”） 。对布匹质量的检测是重复性劳动，容易出错且效率低。
流水线进行自动化的改造，使布匹生产流水线变成快速、实时、准确、高效的流水线。在流水线上，所有布匹的颜色、及数量都要进行自动确认（以下简称“布匹检测”）。现在采用机器视觉的自动识别技术完成以前由人工来完成的工作。在大批量的布匹检测中，用人工检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。
三、项目方案
机器视觉是在没有人工干预的情况下使用计算机来处理和分析图像信息并作出结论。机器视觉的特点是自动化、客观、非接触和高精度,与一般意义上的图像处理系统相比,机器视觉强调的是精度和速度,以及工业现场环境下的可靠性。
在机器视觉应用中，包括以下几个过程：
图像采集
通过光学系统，由相机采集图像，图像转换成数字格式式并传入计算机存储器。
图像处理
处理器运用不同的算法来处理对决策有重要影响的图像要素，如对图像进行颜色辨识,面积、长度测量，图像增强，边缘锐化，降噪等处理。
特性提取
处理器识别并量化图像的关键特性，例如布匹的颜色和杂质的形状等等。然后这些数据传送到控制程序。
判决和控制
处理器的控制程序根据收到的数据做出结论。例如：这些数据包括杂质的直径是否在要求规格之内或者布匹的颜色是否合格。
视觉系统一般包括：光源、光学系统、相机、图像处理单元、图像分析处理软件、监视器、通讯/输入输出单元等。布匹检测的机器视觉系统的组成如下图所示。视觉系统的输出是经过运算处理之后的检测结果——各种杂质的数量。计算机系统实时获得检测结果后,指挥运动系统或输入输出系统执行相应的控制动作（如分选）。
下面就布匹检测系统提出详细方案设计说明书。（系统的组成部件如下图所示）
图像处理软件
机器视觉系统中，视觉信息的处理技术主要依赖于图像处理方法，它包括图像增强、数据编码和传输、平滑、边缘锐化、分割、特征抽取、图像识别与理解等内容。经过这些处理后，输出图像的质量得到相当程度的改善，既改善了图像的视觉效果，又便于计算机对图像进行分析、处理和识别。
特征提取辨识
一般布匹检测（自动识别）先利用高清晰度、高速摄像镜头拍摄标准图像，在此基础上设定一定标准；然后拍摄被检测的图像，再将两者进行对比。但是在布匹质量检测工程中要复杂一些：
1． 图像的内容不是单一的图像，每块被测区域存在的杂质的数量、大小、颜色、位置不一定一致。
2． 杂质的形状难以事先确定。
3． 由于布匹快速运动对光线产生反射，图像中可能会存在大量的噪声。
4． 在流水线上，对布匹进行检测，有实时性的要求。 由于上述原因，图像识别处理时应采取相应的算法，提取杂质的特征，进行模式识别，实现智能分析。 我们使用德国Stemmer公司的机器视觉软件开发包-CVB中的color、blob工具，它适合于开发颜色模式识别和斑点的检测。
Color检测
一般而言，从彩色CCD相机中获取的图像都是RGB图像。也就是说每一个像素都由红（R）绿（G）篮（B）三个成分组成，来表示RGB色彩空间中的一个点。问题在于这些色差不同于人眼的感觉。即使很小的噪声也会改变颜色空间中的位置。所以无论我们人眼感觉有多么的近似，在颜色空间中也不尽相同。基于上述原因，我们需要将RGB像素转换成为另一种颜色空间CIELAB。目的就是使我们人眼的感觉尽可能的与颜色空间中的色差相近。
Blob检测
根据上面得到的处理图像，根据需求，在纯色背景下检测杂质色斑，并且要计算出色斑的面积,以确定是否在检测范围之内。因此图像处理软件要具有分离目标，检测目标，并且计算出其面积的功能。
Blob分析（Blob Analysis）是对图像中相同像素的连通域进行分析，该连通域称为Blob。经二值化（Binary Thresholding）处理后的图像中色斑可认为是blob。Blob分析工具可以从背景中分离出目标，并可计算出目标的数量、位置、形状、方向和大小，还可以提供相关斑点间的拓扑结构。在处理过程中不是采用单个的像素逐一分析，而是对图形的行进行操作。图像的每一行都用游程长度编码（RLE）来表示相邻的目标范围。这种算法与基于象素的算法相比，大大提高处理速度。
结果处理和控制
应用程序把返回的结果存入数据库或用户指定的位置，并根据结果控制机械部分做相应的运动。
根据识别的结果，存入数据库进行信息管理。以后可以随时对信息进行检索查询，管理者可以获知某段时间内流水线的忙闲，为下一步的工作作出安排；可以获知近期内布匹的质量情况等等。
四、用户界面及操作
项目要求利用机器视觉技术，智能的识别出流水线上布匹的所有杂质以及它们的数量、大小。根据项目要求，我们设计如下：
（1）图像显示区：实时的显示由相机采集的彩色图像，系统根据当前的图像内容实时的识别布匹信息。
（2）信息显示区：把图像的内容——各种杂质的数量实时的显示到表格里。系统当前状态（如：实时检测，停止检测，触发信号状态）实时的显示在状态显示栏中，以便于操作人员了解系统状态。
（3）信息管理区：管理人员可随时查看流水线的统计信息。操作人员可以灵活的配置系统的配置信息（如：数据库的配置，控制模块通讯配置，识别参数的校正）。权限管理控制系统使用者的操作权限，例如：只有高级操作人员才能对系统信息进行配置；只有拥有相应权限的人员才能查看统计信息。
五、布匹颜色学习工具
我们开发了布匹颜色学习工具，此工具界面友好，操作简单，如下图所示。
布匹颜色学习工具
一种颜色应该提供多个模板图像进行训练，这样可以提高识别的能力。学习完毕后要保存成CLF文件，以后模式识别就按照保存特征进行识别。
六．总结
视觉系统涉及到光学和图像处理算法，本身就是高度专业化的产品，尤其在整个识别控制系统中，还要与运动控制系统配合完成后续操作。在本项目的视觉系统中提取识别对象颜色特征值，然后采用模式识别的方法，识别出不合格区域然后使用斑点分析判断是否为杂质。同时提到了整个系统中各个部件的选择和用户界面的设计。 总之，应用机器视觉系统能够大幅降低检验成本，提高产品质量，加快生产速度和效率。对于现代化企业来说，意识到技术发展的趋势并首先付诸实施者无疑将走在竞争的前列。
自动检测技术作为一种快速、实时、准确采集与处理信息的高新技术，已逐渐成为国民经济信息化、增强竞争力不可缺少的技术工具和手段。布匹在现代生产流水线上，需要判别出布匹的颜色是否合格、布匹上是否有杂质及杂质的数量。由于生产线运行速度较快，要求杂质分辨直径较小，用人工难以做到实时检测，事后抽样检测效率低下，且抽检后的产品仍然有存在瑕疵的可能。计算机的自动化，正好适合于快速实时地检测。布匹生产在线检测系统正是基于机器视觉的技术，快速高效的检测出布匹的颜色和存在的杂质。机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品（即图像摄取装置）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布、亮度和颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来识别图像的内容或控制现场的设备动作。
二、项目要求
在布匹的生产过程中，像布匹质量检测这种有高度重复性和智能性的工作只能靠人工检测来完成,在现代化流水线后面常常可看到很多的检测工人来执行这道工序,给企业增加巨大的人工成本和管理成本的同时,却仍然不能保证100 %的检验合格率（即“零缺陷”） 。对布匹质量的检测是重复性劳动，容易出错且效率低。
流水线进行自动化的改造，使布匹生产流水线变成快速、实时、准确、高效的流水线。在流水线上，所有布匹的颜色、及数量都要进行自动确认（以下简称“布匹检测”）。现在采用机器视觉的自动识别技术完成以前由人工来完成的工作。在大批量的布匹检测中，用人工检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。
三、项目方案
机器视觉是在没有人工干预的情况下使用计算机来处理和分析图像信息并作出结论。机器视觉的特点是自动化、客观、非接触和高精度,与一般意义上的图像处理系统相比,机器视觉强调的是精度和速度,以及工业现场环境下的可靠性。
在机器视觉应用中，包括以下几个过程：
图像采集
通过光学系统，由相机采集图像，图像转换成数字格式式并传入计算机存储器。
图像处理
处理器运用不同的算法来处理对决策有重要影响的图像要素，如对图像进行颜色辨识,面积、长度测量，图像增强，边缘锐化，降噪等处理。
特性提取
处理器识别并量化图像的关键特性，例如布匹的颜色和杂质的形状等等。然后这些数据传送到控制程序。
判决和控制
处理器的控制程序根据收到的数据做出结论。例如：这些数据包括杂质的直径是否在要求规格之内或者布匹的颜色是否合格。
视觉系统一般包括：光源、光学系统、相机、图像处理单元、图像分析处理软件、监视器、通讯/输入输出单元等。布匹检测的机器视觉系统的组成如下图所示。视觉系统的输出是经过运算处理之后的检测结果——各种杂质的数量。计算机系统实时获得检测结果后,指挥运动系统或输入输出系统执行相应的控制动作（如分选）。
机器视觉系统中，视觉信息的处理技术主要依赖于图像处理方法，它包括图像增强、数据编码和传输、平滑、边缘锐化、分割、特征抽取、图像识别与理解等内容。经过这些处理后，输出图像的质量得到相当程度的改善，既改善了图像的视觉效果，又便于计算机对图像进行分析、处理和识别。
特征提取辨识
一般布匹检测（自动识别）先利用高清晰度、高速摄像镜头拍摄标准图像，在此基础上设定一定标准；然后拍摄被检测的图像，再将两者进行对比。但是在布匹质量检测工程中要复杂一些：
1． 图像的内容不是单一的图像，每块被测区域存在的杂质的数量、大小、颜色、位置不一定一致。
2． 杂质的形状难以事先确定。
3． 由于布匹快速运动对光线产生反射，图像中可能会存在大量的噪声。
4． 在流水线上，对布匹进行检测，有实时性的要求。 由于上述原因，图像识别处理时应采取相应的算法，提取杂质的特征，进行模式识别，实现智能分析。 我们使用德国Stemmer公司的机器视觉软件开发包-CVB中的color、blob工具，它适合于开发颜色模式识别和斑点的检测。
Color检测
一般而言，从彩色CCD相机中获取的图像都是RGB图像。也就是说每一个像素都由红（R）绿（G）篮（B）三个成分组成，来表示RGB色彩空间中的一个点。问题在于这些色差不同于人眼的感觉。即使很小的噪声也会改变颜色空间中的位置。所以无论我们人眼感觉有多么的近似，在颜色空间中也不尽相同。基于上述原因，我们需要将RGB像素转换成为另一种颜色空间CIELAB。目的就是使我们人眼的感觉尽可能的与颜色空间中的色差相近。
Blob检测
根据上面得到的处理图像，根据需求，在纯色背景下检测杂质色斑，并且要计算出色斑的面积,以确定是否在检测范围之内。因此图像处理软件要具有分离目标，检测目标，并且计算出其面积的功能。
Blob分析（Blob Analysis）是对图像中相同像素的连通域进行分析，该连通域称为Blob。经二值化（Binary Thresholding）处理后的图像中色斑可认为是blob。Blob分析工具可以从背景中分离出目标，并可计算出目标的数量、位置、形状、方向和大小，还可以提供相关斑点间的拓扑结构。在处理过程中不是采用单个的像素逐一分析，而是对图形的行进行操作。图像的每一行都用游程长度编码（RLE）来表示相邻的目标范围。这种算法与基于象素的算法相比，大大提高处理速度。
结果处理和控制
应用程序把返回的结果存入数据库或用户指定的位置，并根据结果控制机械部分做相应的运动。
根据识别的结果，存入数据库进行信息管理。以后可以随时对信息进行检索查询，管理者可以获知某段时间内流水线的忙闲，为下一步的工作作出安排；可以获知近期内布匹的质量情况等等。
四、用户界面及操作
项目要求利用机器视觉技术，智能的识别出流水线上布匹的所有杂质以及它们的数量、大小。根据项目要求，我们设计如下：
（2）信息显示区：把图像的内容——各种杂质的数量实时的显示到表格里。系统当前状态（如：实时检测，停止检测，触发信号状态）实时的显示在状态显示栏中，以便于操作人员了解系统状态。
（3）信息管理区：管理人员可随时查看流水线的统计信息。操作人员可以灵活的配置系统的配置信息（如：数据库的配置，控制模块通讯配置，识别参数的校正）。权限管理控制系统使用者的操作权限，例如：只有高级操作人员才能对系统信息进行配置；只有拥有相应权限的人员才能查看统计信息。
五、布匹颜色学习工具
我们开发了布匹颜色学习工具，此工具界面友好，操作简单，如下图所示。
一种颜色应该提供多个模板图像进行训练，这样可以提高识别的能力。学习完毕后要保存成CLF文件，以后模式识别就按照保存特征进行识别。
六．总结
视觉系统涉及到光学和图像处理算法，本身就是高度专业化的产品，尤其在整个识别控制系统中，还要与运动控制系统配合完成后续操作。在本项目的视觉系统中提取识别对象颜色特征值，然后采用模式识别的方法，识别出不合格区域然后使用斑点分析判断是否为杂质。同时提到了整个系统中各个部件的选择和用户界面的设计。 总之，应用机器视觉系统能够大幅降低检验成本，提高产品质量，加快生产速度和效率。对于现代化企业来说，意识到技术发展的趋势并首先付诸实施者无疑将走在竞争的前列。
