Industry News
Multi-camera system: Vision system to check the sealing quality of flexible packaging
Date：2017-12-11
Source：Samsun Technology
不言而喻，二类和三类医疗器材和医疗用品供应商无法承担无菌产品被污染的风险。然而，即使包装工艺严格符合卫生要求，但是异物仍然有可能存在于热封材料层之间。在某些情况下，这些异物可能会形成足够大的微通道，从而破坏产品对周围环境的密封性，并最终导致细菌进入。
手动检查包装的密封性往往耗时且容易出错。毕竟密封中的污染物，如毛发和隐藏的颗粒，对于肉眼检查而言非常具有挑战性，容易出错或疏漏。而且，密封被损坏的包装，也可能具有人眼无法看到的微孔或裂口。毋庸置疑，如果这样的包装进入医院和其他医疗环境中，不但会危害医疗器材和医疗用品的无菌性，而且还会对病人的健康带来潜在危害。
了解到这一点后，美国DWFritz Automation公司开发了一套名为ASI的自动化密封检测系统。该系统采用多相机机器视觉系统，旨在对生产线上的包装进行100％的在线检查，以确保无菌产品在整个供应链中保持无菌状态。ASI系统设计用于检查由柔性聚合物膜形成的包装的密封完整性和包装上的其他缺陷。该系统设计用于检查由两行、四列共八个独立的小袋构成的包装，每个小袋中装有手术器材，并用带有呼吸孔的Tyvek盖密封。为了检查八个小袋周围的密封情况，ASI材料处理系统拾取每个包装，并以250mm/s的速度将其精确地移动到两个相机阵列处，相机朝上放置，带有集成的闪光照明（见图1）。在12秒的检查周期内，不少于9台相机会采集378幅图像，探测并分类小于50μm的缺陷。
在客户应用现场，ASI系统是生产线的一个组成部分，其通过自动传送机连接到包装设备，包装设备执行各种类型的医疗器械和医疗用品的包装。在操作过程中，随着包装通过进料传送机进入系统，其被检测到后将相关信息输入到Control Logix PLC（来自美国Allen-Bradley公司），该PLC用于控制机器的操作，PLC接收到信息后触发输出信号，以提升包装下的抓取手指。当包装升高到进料台位置时，PLC触发In-Sight 5605智能相机视觉系统（来自康耐视公司），来捕获包装的图像。
首先，由相机自带的处理器对图像进行分析，完成预检查对准，以确定包装的方向，并提供X、Y和T坐标，以便龙门架上的真空吸盘能够以正确的方向拾取包装进行检查。由于在每个包装上的八个小袋子之间，一个方向上有四条密封通道，另一个方向上有五条密封通道（见图2），工程师在两个面朝上的光学阵列组件的设计中，需要使用至少九台相机。
视觉系统
对于每个相机/镜头组和照明组件，工程师选用了德国Basler公司的Ace 2048×2048黑白相机，该相机采用比利时CMOSIS（现在是ams Sensors Belgium）公司的CMV4000 CMOS图像传感器。为了满足应用的分辨率要求，每台像素尺寸为5.5μm相机的400万像素全局快门传感器，与来自美国施乃德光学公司的40mm镜头配套使用。这种配置实现了25mm的视场。y轴光学阵列的四台相机连接到一台工业PC（iPC，来自研华科技）。同样，用另一台相同的iPC控制x轴光学阵列中的五台相机。iPC以主从配置安排，主iPC运行一个OPC服务器，通过以太网与PLC机器控制器通讯。
在操作过程中，图像采集和部件处理紧密同步。从PLC到iPC的编码器反馈触发每个相机阵列以每7.5mm的行程捕获图像，随着包装从相机的视场中经过，高低角度灯交替选通。这会产生连续但重叠的图像，这些图像通过USB3接口传输到工业PC，并拼接在一起，然后重构不同照明下的12×12英寸包装的两幅图像。
图像分析
图像分析软件使用各种算法来执行特定的视觉任务。一种算法用于识别密封通道，另一种算法用于寻找Tyvek中的褶皱。还有一种算法可以测量沿每个物品周边的密封宽度，并确保它不低于特定的最小值，以识别可能密封线太窄的区域。其他算法应用于图像以探测密封内部捕获的微粒、Tyvek盖中的褶皱、有破损的密封、光滑密封，并找出可能存在的任何孔洞或穿孔。需要几种算法来探测毛发。一种针对黑色毛发，一种针对金色毛发，还有一种针对灰白毛发。图像分析完成后，主iPC将结果传送给PLC，然后PLC触发两个气缸中的一个，或将包装传递到下一个工序，或将其丢弃到废品箱。
合适的照明
该系统的另一项挑战是照明。由于包装本身的形状，并且由于密封区域在八个长方体形状小袋之间的通道中凹陷，所以工程师不得不开发紧凑的定制照明系统，装配在小袋子间的通道内，以便靠近密封区域。高度专业化的闪光照明解决方案是每个相机/镜头组和照明组件的组成部分之一，并提供机器视觉软件所需的对比度来探测所需的密封缺陷。探测50μm缺陷需要每像素10μm或12μm的分辨率，材料处理系统必须在定位公差方面实现严格的轴控制，以在将密封区域呈现给相机时保持±1mm的景深。
在ASI开发期间，负责指定零件处理和机器视觉系统的工程团队必须解决几项设计挑战。首先，事实上每个八袋包装可能包含大量不同尺寸和重量的物品，再加上包装本身有一定的柔性度，并不是很硬挺，从而使包装在处理期间容易翻转。另一项设计挑战是Tyvek盖子的透气性，这为吸盘的真空拾取带来了一定的挑战。另外，柔性材料的波纹和不平坦的表面，对将其抓取并送到机器视觉相机检测系统中而言，也是一项不小的挑战。尽管包装具有灵活性，并且可能包含各种不同重量和尺寸的医疗器材和医疗用品，但由于在1英尺y轴行程和2英尺x轴行程范围内的景深要求±1mm，物料处理系统必须保持包装平整度。
因为这需要使用相对较重的真空吸盘，其强度足以使多孔包装保持平坦，而不会受到其内装物体重量的影响，因此工程师选择了机器人上的三轴机架系统，用于提供所需要的平滑、精确和可重复的运动。除了最小化无菌二类和三类医疗器材和医疗用品污染的风险外，ASI系统还可能影响食品、军需用品、消费品或几乎任何其他依赖于完整气密性封装的柔性包装应用。
手动检查包装的密封性往往耗时且容易出错。毕竟密封中的污染物，如毛发和隐藏的颗粒，对于肉眼检查而言非常具有挑战性，容易出错或疏漏。而且，密封被损坏的包装，也可能具有人眼无法看到的微孔或裂口。毋庸置疑，如果这样的包装进入医院和其他医疗环境中，不但会危害医疗器材和医疗用品的无菌性，而且还会对病人的健康带来潜在危害。
了解到这一点后，美国DWFritz Automation公司开发了一套名为ASI的自动化密封检测系统。该系统采用多相机机器视觉系统，旨在对生产线上的包装进行100％的在线检查，以确保无菌产品在整个供应链中保持无菌状态。ASI系统设计用于检查由柔性聚合物膜形成的包装的密封完整性和包装上的其他缺陷。该系统设计用于检查由两行、四列共八个独立的小袋构成的包装，每个小袋中装有手术器材，并用带有呼吸孔的Tyvek盖密封。为了检查八个小袋周围的密封情况，ASI材料处理系统拾取每个包装，并以250mm/s的速度将其精确地移动到两个相机阵列处，相机朝上放置，带有集成的闪光照明（见图1）。在12秒的检查周期内，不少于9台相机会采集378幅图像，探测并分类小于50μm的缺陷。
图1：DWFritz自动密封检测系统，通过在自动传送机上吸附包装来检查密封件的所有面。专门设计的真空吸盘能够拾取多孔包装，然后将包装移动到朝上放置的相机阵列处。
生产线整合在客户应用现场，ASI系统是生产线的一个组成部分，其通过自动传送机连接到包装设备，包装设备执行各种类型的医疗器械和医疗用品的包装。在操作过程中，随着包装通过进料传送机进入系统，其被检测到后将相关信息输入到Control Logix PLC（来自美国Allen-Bradley公司），该PLC用于控制机器的操作，PLC接收到信息后触发输出信号，以提升包装下的抓取手指。当包装升高到进料台位置时，PLC触发In-Sight 5605智能相机视觉系统（来自康耐视公司），来捕获包装的图像。
首先，由相机自带的处理器对图像进行分析，完成预检查对准，以确定包装的方向，并提供X、Y和T坐标，以便龙门架上的真空吸盘能够以正确的方向拾取包装进行检查。由于在每个包装上的八个小袋子之间，一个方向上有四条密封通道，另一个方向上有五条密封通道（见图2），工程师在两个面朝上的光学阵列组件的设计中，需要使用至少九台相机。
图2：密封到12x12英寸，8袋柔性聚乙烯上的Tyvek盖子，密封高达2英寸的医疗器械。需要定制照明才能合适地照亮密封区域（褐色区域），以探测小于50μm的缺陷。
在操作过程中，材料处理系统首先将包装沿包括四个相机/镜头组和照明组件的y轴光学阵列移动；然后再将包装沿包括五个相机/镜头组和照明组件的x轴光学阵列移动。视觉系统
对于每个相机/镜头组和照明组件，工程师选用了德国Basler公司的Ace 2048×2048黑白相机，该相机采用比利时CMOSIS（现在是ams Sensors Belgium）公司的CMV4000 CMOS图像传感器。为了满足应用的分辨率要求，每台像素尺寸为5.5μm相机的400万像素全局快门传感器，与来自美国施乃德光学公司的40mm镜头配套使用。这种配置实现了25mm的视场。y轴光学阵列的四台相机连接到一台工业PC（iPC，来自研华科技）。同样，用另一台相同的iPC控制x轴光学阵列中的五台相机。iPC以主从配置安排，主iPC运行一个OPC服务器，通过以太网与PLC机器控制器通讯。
在操作过程中，图像采集和部件处理紧密同步。从PLC到iPC的编码器反馈触发每个相机阵列以每7.5mm的行程捕获图像，随着包装从相机的视场中经过，高低角度灯交替选通。这会产生连续但重叠的图像，这些图像通过USB3接口传输到工业PC，并拼接在一起，然后重构不同照明下的12×12英寸包装的两幅图像。
图像分析
图像分析软件使用各种算法来执行特定的视觉任务。一种算法用于识别密封通道，另一种算法用于寻找Tyvek中的褶皱。还有一种算法可以测量沿每个物品周边的密封宽度，并确保它不低于特定的最小值，以识别可能密封线太窄的区域。其他算法应用于图像以探测密封内部捕获的微粒、Tyvek盖中的褶皱、有破损的密封、光滑密封，并找出可能存在的任何孔洞或穿孔。需要几种算法来探测毛发。一种针对黑色毛发，一种针对金色毛发，还有一种针对灰白毛发。图像分析完成后，主iPC将结果传送给PLC，然后PLC触发两个气缸中的一个，或将包装传递到下一个工序，或将其丢弃到废品箱。
合适的照明
该系统的另一项挑战是照明。由于包装本身的形状，并且由于密封区域在八个长方体形状小袋之间的通道中凹陷，所以工程师不得不开发紧凑的定制照明系统，装配在小袋子间的通道内，以便靠近密封区域。高度专业化的闪光照明解决方案是每个相机/镜头组和照明组件的组成部分之一，并提供机器视觉软件所需的对比度来探测所需的密封缺陷。探测50μm缺陷需要每像素10μm或12μm的分辨率，材料处理系统必须在定位公差方面实现严格的轴控制，以在将密封区域呈现给相机时保持±1mm的景深。
图3：高度专业化的小尺寸频闪照明解决方案，是每个相机/镜头组和照明组件的组成部分之一，其提供机器视觉软件所需的对比度来探测密封缺陷。
包装处理挑战在ASI开发期间，负责指定零件处理和机器视觉系统的工程团队必须解决几项设计挑战。首先，事实上每个八袋包装可能包含大量不同尺寸和重量的物品，再加上包装本身有一定的柔性度，并不是很硬挺，从而使包装在处理期间容易翻转。另一项设计挑战是Tyvek盖子的透气性，这为吸盘的真空拾取带来了一定的挑战。另外，柔性材料的波纹和不平坦的表面，对将其抓取并送到机器视觉相机检测系统中而言，也是一项不小的挑战。尽管包装具有灵活性，并且可能包含各种不同重量和尺寸的医疗器材和医疗用品，但由于在1英尺y轴行程和2英尺x轴行程范围内的景深要求±1mm，物料处理系统必须保持包装平整度。
因为这需要使用相对较重的真空吸盘，其强度足以使多孔包装保持平坦，而不会受到其内装物体重量的影响，因此工程师选择了机器人上的三轴机架系统，用于提供所需要的平滑、精确和可重复的运动。除了最小化无菌二类和三类医疗器材和医疗用品污染的风险外，ASI系统还可能影响食品、军需用品、消费品或几乎任何其他依赖于完整气密性封装的柔性包装应用。
