改进五帧差法机器视觉气密性检测研究

上一篇

下一篇

刘纪飞, 姜周曙, 陈磊, 倪誉航, 陈庆华, 林剑, 刘若清. 改进五帧差法机器视觉气密性检测研究[J]. 真空科学与技术学报, 2024, 44(5): 445-451. doi: 10.13922/j.cnki.cjvst.202401019
引用本文: 刘纪飞, 姜周曙, 陈磊, 倪誉航, 陈庆华, 林剑, 刘若清. 改进五帧差法机器视觉气密性检测研究[J]. 真空科学与技术学报, 2024, 44(5): 445-451. doi: 10.13922/j.cnki.cjvst.202401019
Jifei LIU, Zhoushu JIANG, Lei CHEN, Yuhang NI, Qinghua CHEN, Jian LIN, Ruoqing LIU. Airtightness Detection with Improving Inter Five Frame Difference Machine Vision[J]. zkkxyjsxb, 2024, 44(5): 445-451. doi: 10.13922/j.cnki.cjvst.202401019
Citation: Jifei LIU, Zhoushu JIANG, Lei CHEN, Yuhang NI, Qinghua CHEN, Jian LIN, Ruoqing LIU. Airtightness Detection with Improving Inter Five Frame Difference Machine Vision[J]. zkkxyjsxb, 2024, 44(5): 445-451. doi: 10.13922/j.cnki.cjvst.202401019

改进五帧差法机器视觉气密性检测研究

    通讯作者: E-mail: 1027520701@qq.com
  • 中图分类号: TP391.4

Airtightness Detection with Improving Inter Five Frame Difference Machine Vision

    Corresponding author: Jifei LIU, 1027520701@qq.com
  • MSC: TP391.4

  • 摘要: 气密性是真空设备最重要的技术指标。在工业设备检漏中,传统皂泡法依赖人工目视,其检测准确性和效率取决于工作人员的专注度和操作技能。文章采用机器视觉技术,基于五帧差目标检测算法,进行检漏和漏点定位。由于传统帧差法存在部分画面重叠、边缘信息缺失和处理高帧率视频效果较差等问题,文章提出用Otsu算子和Canny边缘检测共同改进五帧差法。首先对连续图像做差分并转化为二值图,然后对中间帧进行Canny边缘检测,将二值图和Canny边缘检测的结果进行逻辑运算、中值滤波和形态学处理,最后获得完整的皂泡目标。实验表明,新算法能够处理高帧率视频并获得更完整的皂泡轮廓信息,可用于机器视觉真空设备气密性检测。
  • 加载中
  • 图 1  实验装置图

    Figure 1.  Diagram of experimental setup

    图 2  模拟泄漏工件。(a)圆盘工件,(b)长方体工件

    Figure 2.  Simulate leaking workpieces. (a) Diagram of circular workpiece, (b) diagram of rectangular workpiece

    图 3  传统Canny算法流程图

    Figure 3.  Algorithm flowchart of traditional Canny

    图 4  不同Canny边缘检测对比。(a)圆盘工件,(b)传统Canny,(c)改进Canny

    Figure 4.  Comparison of different Canny edge detection. (a) Disc workpiece, (b) traditional Canny, (c) improved Canny

    图 5  改进五帧差法算法流程图

    Figure 5.  Algorithm flowchart of improved inter five frame difference

    图 6  圆盘工件数据集382帧。(a)原图,(b)文献[12]算法,(c)文献[13]算法,(d)本文算法

    Figure 6.  Frame 382 of circular workpieces dataset. (a) Original drawing, (b) reference [12], (c) reference [13], (d) this thesis

    图 7  长方体工件数据集第26帧。(a)原图,(b)文献[12]算法,(c)文献[13]算法,(d)本文算法

    Figure 7.  Frame 26 of rectangular workpieces dataset. (a) Original drawing, (b) reference [12], (c) reference [13], (d) this thesis

    表 1  圆盘边缘检测图像评价表

    Table 1.  Evaluation form of disk edge detection

    算法P1P2P3P3/P1P3/P2
    传统Canny198751028897800.49200.9506
    改进Canny20953986769190.33020.7012
    下载: 导出CSV

    表 2  目标检测实验结果

    Table 2.  Experimental results of target detection

    算法 Pr Re F1 Tm /ms
    圆盘 长方体 圆盘 长方体 圆盘 长方体 圆盘 长方体
    文献[12]算法 0.028 0.232 0.118 0.199 0.046 0.214 1576.23 1901.31
    文献[13]算法 0.334 0.583 0.035 0.102 0.064 0.174 1275.97 2368.62
    本文算法 0.203 0.230 0.173 0.235 0.187 0.233 1587.93 2260.54
    下载: 导出CSV
  • [1] 董云宁, 闫睿, 梁进智, 等. 超灵敏度真空检漏技术进展[J]. 真空科学与技术学报,2023,43(08):647653(in Chinese) doi: 10.13922/j.cnki.cjvst.202108018 Dong Yunning, Yan Rui, Liang Jinzhi, et al. The development of ultrasensitive leak detection technology[J]. Chinese Journal of Vacuum Science and Technology,2023,43(08):647653 doi: 10.13922/j.cnki.cjvst.202108018
    [2] 卢耀文, 李得天, 齐京, 等. 一种下限为5×10−16 Pa·m−3/s的高精度超灵敏度检漏装置[J]. 真空科学与技术学报,2019,39(1):1−5(in Chinese) doi: 10.13922/j.cnki.cjovst.2016.05.10 Lu Yaowen, Li Detian, Qi Jing, et al. Design of ultrasensitive leak detector with lower detection limit of 5×10−16 Pa·m3/s[J]. Chinese Journal of Vacuum Science and Technology,2019,39(1):1−5 doi: 10.13922/j.cnki.cjovst.2016.05.10
    [3] 林晶, 钱锋, 刘壮, 等. 汽车零部件常压快速检漏系统的设计[J]. 真空科学与技术学报,2016,36(05):547550(in chinese) doi: 10.13922/j.cnki.cjovst.2016.10.16 Lin Jing, Qian Feng, Liu Zhuang, et al. Novel technique for rapid leak detection of auto parts under ambient conditions[J]. Chinese Journal of Vacuum Science and Technology,2016,36(05):547550 doi: 10.13922/j.cnki.cjovst.2016.10.16
    [4] 孙伟, 闫荣鑫, 孙立臣, 等. 液体向真空泄漏的数学模型研究[J]. 真空科学与技术学报,2016,36(10):1180−1186(in Chinese) Sun Wei, Yan Rongxin, Sun Lichen, et al. Modeling and simulation of weakly-pressured leakage of incompressible fluid into vacuum[J]. Chinese Journal of Vacuum Science and Technology,2016,36(10):1180−1186
    [5] 吴春龙, 潘海鹏, 夏永明. 基于光流法的气密性检测装置研究[J]. 机电工程,2013,30(8):947−951(in Chinese) Wu Chunlong, Pan Haipeng, Xia Yongming. Airtightness detection system based on optical flow meth-od[J]. Journal of Mechanical & Electrical Engineering,2013,30(8):947−951
    [6] Singla N. Motion detection based on frame difference method[J]. International Journal of Information & Computation Technology, 2014, 4(15): 1559-1565
    [7] Javed S, Oh S H, Jung S K. IPBAS: Improved pixel based adaptive background segmenter for background subtraction [C]//Human Computer Interaction. 2014
    [8] Barnich O, Van Droogenbroeck M. ViBe: a powerful random technique to estimate the background in video sequences[C]//2009 IEEE international conference on acoustics, speech and signal processing. IEEE, 2009: 945−948
    [9] Olivier B, Marc D V. Vibe: a universal background subtraction algorithm for video sequences[J]. IEEE transactions on image processing: a publication of the IEEE Signal Processing Society,2011,20(6):1709−1724 doi: 10.1109/TIP.2010.2101613
    [10] Gunawan G, Nuriyanto H, Sriadhi S, et al. Mobile application detection of road damage using canny algorithm[J]. Journal of Physics: Conference Series,2018,1019(1):012035−012035
    [11] 安云凤, 潘海鹏 . 一种新的三帧差运动气泡检测方法[J]. 光电子·激光,2016,27(09):963−972(in Chinese) doi: 10.161-36/j.joel.2016.09.0859 An Yunfeng, Pan Haipeng. A new method for moving bubbles detection based on frame difference[J]. Journal of Optoelectronics· Laser,2016,27(09):963−972 doi: 10.161-36/j.joel.2016.09.0859
    [12] 杜文汉, 李东兴, 王倩楠, 等. 融合改进帧差和边缘提取算法的运动目标检测[J]. 科学技术与工程,2022,22(05):1944−1949. (in Chinese) Du Wenhan, Li Dongxing, Wang Qiannan, et al. Moving Target detection based on improved fame difference and edge extraction algorithm[J]. Science Technology and Engineering,2022,22(05):1944−1949
    [13] 张应辉, 刘养硕. 基于帧差法和背景差法的运动目标检测[J]. 计算机技术与发展,2017,27(02):25−28(in Chinese) Zhang Yinghui, Liu Yangshuo. Moving object detection based on method of frame difference and background subtraction[J]. Computer Technology and Development,2017,27(02):25−28
    [14] 于新善, 孟祥印, 金腾飞, 等. 基于改进Canny算法的物体边缘检测算法[J]. 激光与光电子学进展, 20-3, 60(22): 221−230(in Chinese) Yu Xinshan, Meng Xiangyin, Jin Tengfei, et al, Object edge detection algorithm based on improved canny algorithm improved image measurement edge detection based on canny operator[J]. 20-3, 60(22): 221−230
    [15] 李昺星, 任江龙. 基于改进Canny算子高低阈值选取的遥感图像边缘检测[J]. 现代信息科技, 2022, 6(20): 8183+89(in Chinese) Li Bingxing, Ren Jianglong. Remote sensing image edge detection based on improved canny operator high and low threshold selection[J]. Modern Information Technology, 2022, 6(20): 8183+89
    [16] Kumari M K, Christian O, Daniel K, et al. Automatic extraction of large-scale aquaculture encroachment areas using canny edge otsu algorithm in google earth engine the case study of kolleru lake, south india[J]. Geocarto International,2022,37(26):11173−11189 doi: 10.1080/10106049.2022.2046872
    [17] 许宏科, 秦严严, 陈会茹. 一种基于改进 Canny 的边缘检测算法[J]. 红外技术,2014,36(3):210−214(in Chinese) Xu Hongke, Qin Yanyan, Chen Huiru. An improved algorithm for edge detection based on canny[J]. Infrared Technology,2014,36(3):210−214
    [18] Tao L, Zhao Z, Zheng L, et al. An approach to ship target detection based on combined optimization model of dehazing and detection[J]. Engineering Applications of Artificial Intelligence,2024,127(PB):107332
  • 加载中
图( 7) 表( 2)
计量
  • 文章访问数:  385
  • HTML全文浏览数:  385
  • PDF下载数:  4
  • 施引文献:  0
出版历程
  • 收稿日期:  2024-01-25
  • 刊出日期:  2024-05-31

改进五帧差法机器视觉气密性检测研究

    通讯作者: E-mail: 1027520701@qq.com
  • 1. 杭州电子科技大学自动化学院 杭州 310018
  • 2. 浙江三田汽车空调压缩机有限公司 龙泉 323700

摘要: 气密性是真空设备最重要的技术指标。在工业设备检漏中,传统皂泡法依赖人工目视,其检测准确性和效率取决于工作人员的专注度和操作技能。文章采用机器视觉技术,基于五帧差目标检测算法,进行检漏和漏点定位。由于传统帧差法存在部分画面重叠、边缘信息缺失和处理高帧率视频效果较差等问题,文章提出用Otsu算子和Canny边缘检测共同改进五帧差法。首先对连续图像做差分并转化为二值图,然后对中间帧进行Canny边缘检测,将二值图和Canny边缘检测的结果进行逻辑运算、中值滤波和形态学处理,最后获得完整的皂泡目标。实验表明,新算法能够处理高帧率视频并获得更完整的皂泡轮廓信息,可用于机器视觉真空设备气密性检测。

English Abstract

  • 气密性是真空设备最重要的技术指标,在船舶、核工业、航空航天和微电子[1]等领域,真空设备的气密性不仅与设备的工作性能有关,甚至还关乎工作人员的生命安全。近些年,在真空容器的检漏方面,国内的成果主要是新型检漏仪器的制造和仪器精度的提高。在超灵敏度真空检漏技术方面,卢耀文等[2]研制了下限为5×10−16 Pa·m3/s的高精度超灵敏检漏装置,基本解决了检漏结果的正确性和量值溯源问题;在汽车工业生产方面,林晶等[3]设计研发出一套常压快速检漏系统,可检测的泄漏率达10−5 Pa·m3/s,检漏节拍小于1 min,能够匹配工业生产速度。在理论研究方面,孙伟等[4]对液体向真空环境泄漏的过程建立了泄漏率的数学模型,该研究为工程的气密性指标的制定以及设备的密封设计提供了理论依据。此外,工程上常见的检漏法还有红外成像法、质谱仪法和超声波定位法等,这些方法基本都需要较高的人力与设备成本,能够探测是否泄漏并估算漏率,但是难以进行快速的漏点定位。

    皂泡法是为数不多能实现漏点定位的方法之一,但传统的皂泡法需要人力投入,其检测的质量取决于人员的操作技能和专注度,漏检和误检在所难免。随着计算机与人工智能技术的发展,为提高气密性检测的效率、降低人工成本提供了崭新的技术路径。本文提出了一种机器视觉和皂泡法检漏相结合,能自动实现气密性检测与漏点定位的人工智能方法。

    利用机器视觉对设备检漏,即在固定的设备上,将生长中的皂泡作为目标进行检测。目前,主流的运动目标检测方法有光流法[5]、帧间差分法[6]、高斯背景建模法[7]、视觉级背景提取算法(Vibe算法)[8]等。光流法能够精确地计算出运动目标的速度、处理目标旋转等情况,但其计算复杂且对噪声敏感,难以满足实时性要求。高斯背景建模法是将输入图像与背景模型进行对比,根据与背景模型相似性的高低,待检测像素点分别被归为前景和背景,再利用形态学进行提取。高斯建模法的算法简单,并且实时性高,但易受环境的干扰,在皂泡检测方面表现能力一般。视觉级背景提取算法是一种有效的前景提取方法[9]。该算法能在一定程度上用于动态背景下的目标检测,并且计算量适中、占用内存少、执行速度快,但在初始帧可能存在运动目标的情况下,检测结果会出现鬼影现象。

    帧差法[10]通过视频连续帧差分运算,获取运动目标,计算量较少而且适合静止背景中的运动目标检测,但无法避免动态背景所造成的干扰,部分边缘信息会缺失,很难完整提取运动目标。皂泡在生长初期增长速率较快,然后逐渐减慢,所以需要用到高帧率工业相机进行视频数据采集。在高帧率视频中,由于相邻帧之间的像素变化少,传统二帧差法与三帧差法的视频处理效果不佳。安云凤等[11]尝试将三帧差法与Kirsch边缘检测相结合,利用边缘检测辅助三帧差法补全缺失的边缘信息,但Kirsch算子容易受噪声影响,在前景与背景具有高对比度的情况下,才能获得较好的效果。当工业环境复杂、皂液涂抹不均匀、皂泡边缘与背景的对比度较小时,Kirsch边缘检测不适用。杜文汗等[12]将Canny算子进行改进并与三帧差法相结合,运用了朴素Otsu算子(最大类间方差法),对高低阈值进行自适应设置,但Otsu法对图像噪声敏感,仅可分割单一目标,所以改进的Canny算子未能够适用于皂泡检测。东北大学的张应辉[13]尝试将背景差分与二帧差法结合,但未解决传统二帧差法处理噪声能力差的问题,处理完的图像存在一定的噪声,难以进行漏点定位。

    基于上述分析,本文首先对传统Canny边缘检测算法进行改进;将检测结果与五帧差法的结果相结合,弥补动态背景所造成的干扰和缺失的边缘信息;最后进行中值滤波和形态学处理,获得皂泡前景目标。

    • 为了获得大量、完整、多样、可靠的实验数据,本文自主研发了一种微泄漏检测实验台。该试验台分为两个部分:泄漏设备模拟平台和图像数据采集平台。模拟泄漏工件的漏点经激光打孔、划痕等方式制成。图像数据采集部分由工业高速摄像机、镜头和光源组成。

    • 实验台整体结构如图1所示。其中,针阀用于调节气压。

    • 通过自主设计,实验使用圆盘模拟泄漏工件和长方体模拟泄漏工件:

      (1)圆盘工件能更换激光穿孔工件来控制漏点大小,穿孔直径尺寸有20 μm、30 μm、40 μm、50 μm、60 μm等。

      (2)长方体工件内部空心,表面通过激光打孔制造漏点。

      模拟泄漏工件和漏点如图2所示。

    • 依据体积位移法,将足量的水注入整个实验装置,获得装置容积Vtotal约为23.17×10−3 m3。通过直压法实验和式(1),获得装置不同气压下的体积泄漏率Qv

      其中,ps表示标准大气压;pn表示在第n个时刻的瞬时气压;$ {t_1} $表示测量间隔时长,为20 ms。

      本次测量选用半径为20 μm的漏点,气压为0.6 kPa。经测量,在4种气压下,体积泄露率均为7.23×10−5 m3/s。依据式(2),所求的体积泄露率等于皂泡的形成速率。

      其中,$ {t_2} $表示皂泡生成所用的总时长。

      新的检测方法是通过处理皂泡形成过程的视频数据来判断泄漏和漏点位置,所以皂泡的形成速率会在一定程度上影响到检测效率。依据所测量到的皂泡形成速率可知,该实验装置只需1 s就能够形成体积为7.23×10−5 m3的皂泡,即半径9.27×10−3 m的类半圆皂泡,基本满足图像处理算法的检测要求。

      由此可推断,当漏点半径大于20 μm或气压大于0.6 kPa时,模拟漏件皆能较快地产生皂泡,基本能满足图像处理算法的检测要求。

    • 在实验开始之前,检查各个实验设备情况,如阀门是否处于关闭状态、质量是否完好、气密性是否良好、模拟漏件表面是否干净等;调节光源的光圈、光强和镜头的焦距。设备调节完后,正式开始实验。首先,根据所需气压,空压机压入适当空气,用针阀调节气压,在模拟漏件上均匀涂抹皂液;接着,开启相机采集数据,打开手动阀,漏件表面的皂泡生长,当皂泡生长到一定程度,关闭工业相机,结束采集;最后,打开排气阀排光空气后,关闭所有阀门,将漏件表面的皂液擦拭干净,实验结束。

    • Canny边缘检测[14]是一种常见的边缘检测算法,该算法有较好的信息提取能力和运算效率,但也存在一定的缺陷。算法流程如图3所示:

      算法缺陷如下:

      (1)传统Canny算法使用高斯滤波,会丢失部分边缘,而且卷积核大小受人为因素的影响较大,缺乏自适应能力。

      (2)对噪声较为敏感,容易出现伪边缘。

      (3)高低阈值的设置没有自适应性,难以提取完整的边缘信息。

      针对复杂情况下的皂泡目标检测,应当让算法拥有自适应性和较好的类圆目标边缘检测性能,故对Canny算法做出如下改进:

      (1)改善卷积模板[15]

      传统的Canny算法用的是2×2的差分模板,现改为3×3,增加了两个方向的差分模板:

      其中,SxSy是垂直和水平方向的卷积核,SOprSOpl是45°和135°方向的卷积核。通过卷积操作,获得对应的梯度分量gx、gy、gur、gdl,计算出梯度幅值$ {G_r} $和梯度方向角$ \vartheta $

      (2)自适应阈值分割

      传统的Canny算法高低阈值设置是固定的,故双阀值的选取对最终的结果影响较大。本文引入Otsu算子[16],但传统Otsu算子对噪声十分敏感,只能对单一目标进行分割。为了弥补缺陷,本文采用了两次Otsu算子。首先,用Otsu算子得出图像的全局最大类间方差,作为Canny算法的高阈值,而低于高阈值的区域认定为阴暗处,对阴暗处求最大类间方差,作为Canny算法的低阈值。

    • 为了验证改进的Canny算法,对圆盘漏件图像数据的处理结果进行比较,如图4

      本文设置P1、P2、P3分别代表边缘像素总数、4连通域数和8连通域数,对实验结果做客观比较。根据文献[17],P3/P1的数值越小,表示图像边缘越连续,待测轮廓的间断也越少;P2/P3的数值越小,表示越符合边缘检测算法中的单一边缘相应准则。

      表1,改进Canny算法的P3/P1和P3/P2均小于传统Canny算法。因此在皂泡检测方面,改进的Canny算子边缘提取的性能更好。

    • 与传统帧差法相比,五帧差法不仅能适应高帧率视频,而且能抑制光影变化的影响,减少图像的重影、缺陷;但存在计算量较大、难以提取完整边缘信息的问题。所以,本文将五帧差法与改进的Canny边缘检测结合,算法流程如下:

      (1)选取连续图像,通过二值化与中值滤波,得到5帧灰度图:$ {o_{(t - 2)}}\left( {x,y} \right),\cdots,{o_{(t + 2)}}\left( {x,y} \right) $

      (2)对第$ t $帧图像采用改进Canny算法,提取边缘信息,记$ {Q_t}\left( {x,y} \right) $

      (3)将前后4帧的二值图与第$ t $帧的二值图做差分运算,获得$ {I_1}\left( {x,y} \right),\cdots,{I_4}\left( {x,y} \right) $

      (4)利用Otsu算子对差分后的四张图像进行二值分割,获得4张二值图。将二值图与$ {Q_t}\left( {x,y} \right) $进行逻辑“与”运算获得$ {R_1}\left( {x,y} \right),\cdots,{R_4}\left( {x,y} \right) $,再进行逻辑“或”运算获得$ {R_t}\left( {x,y} \right) $

      (5)对$ {R_t}\left( {x,y} \right) $进行中值滤波和形态学处理,获得最终的前景目标。

      算法流程图如图5

    • 本文检测皂泡生长是为了检漏和漏点定位,所以采用圆盘工件和长方体工件的泄漏的视频数据集,并将新算法和文献[12-13]算法的处理结果进行比较,结果如图6图7

      这里引入[18]Pr、Re、Fβ和Tm做客观分析。各项指标的公式如下:

      其中,TP为正确的目标点数;FP为误检的目标点数;FN为误检的背景点数。Pr表示查准率,Re表示查全率。可以看出PrRe是相互矛盾的指标,其中一个增高会导致另一个降低,所以对于RePr的侧重就需要取决于应用环境。本文使用这两类的调和平均数F1来衡量PrReTm代表算法的运行时长,用来衡量检测效率。

      客观分析结果如表2所示,由于皂泡与背景对比较小、边缘较窄等特点,导致皂泡内部会存在空洞,所以各项指标偏低。

      据结果所示,文献[12]在长方体工件上的各项评价指标比本文算法略低,在圆盘工件上的查准率低于本文算法,查全率比本文算法低0.055,所以指标F1低于本文算法。文献[13]的查准率普遍都高于本文算法,但在查全率方面比本文算法低,因此文献[13]的两项指标F1分别低本文算法0.123和0.059。由Tm可知,3种算法的运行速率均较快,其中文献[12]和[13]算法的运行速率时快时慢,而本文算法速率适中,3种算法都基本能满足工业检测的速率要求。

      综上所述,本文算法的处理结果中虽然存在一定程度的噪声,但能较为准确的提取出生长皂泡的运动目标,总体上优于另外两种对比算法,能够实现对生长皂泡有效的目标检测。

    • 气密性是真空设备最重要的指标,为了提高真空设备检漏的工作效率,本文提出了一种基于五帧差法的目标检测算法,用于对皂泡法的生长皂泡进行目标检测。算法里结合了Canny边缘检测算法和Otsu算子,弥补了传统五帧差法目标轮廓的缺陷。实验结果表明,与文献[12-13]的算法相比,本文算法具有更高的漏点检测精确性,是一种智能化的高效自动气密性检测方法。该检测方法主要运用在工业检漏过程中的初筛阶段,能够同时实现检漏和漏点定位,拥有一定的应用前景。

    参考文献 (18)

目录

/

返回文章
返回