中国测试  2019, Vol. 45 Issue (8): 44-49

文章信息

王桔, 张斌, 应征, 李建, 马锦程
WANG Ju, ZHANG Bin, YING Zheng, LI Jian, MA Jincheng
基于机器视觉的自动扶梯梯级测速方法
A method for the escalator step speed measurement based on machine vision
中国测试, 2019, 45(8): 44-49
CHINA MEASUREMENT & TEST, 2019, 45(8): 44-49
http://dx.doi.org/10.11857/j.issn.1674-5124.2018070062

文章历史

收稿日期: 2018-07-18
收到修改稿日期: 2018-08-26
基于机器视觉的自动扶梯梯级测速方法
王桔1 , 张斌1 , 应征2 , 李建1 , 马锦程1     
1. 中国计量大学计量测试工程学院,浙江 杭州 310018;
2. 浙江省特种设备检验研究院 浙江省特种设备安全检测技术研究重点实验室,浙江 杭州 310020
摘要:针对自动扶梯运行速度的检测,提出一种基于机器视觉的自动扶梯梯级测速方法。首先,对机器视觉系统采集得到的梯级运行图像进行一系列的预处理,通过设置阈值实现目标颜色的识别;然后,采用直线扫描法对颜色提取后的不连通区域进行填充,对得到的二值图像进行边缘检测与轮廓识别,返回轮廓面积最大的图像;最后,提取每张图像中黄色区域右边界直线起始端点的横坐标,通过差分法计算得到梯级的速度。结果表明,该方法实现了非接触测量并且能够得到较为准确的检测结果。
关键词机器视觉    速度    差分法    自动扶梯    
A method for the escalator step speed measurement based on machine vision
WANG Ju1 , ZHANG Bin1 , YING Zheng2 , LI Jian1 , MA Jincheng1     
1. College of Metrology and Measurement Engineering, China Jiliang University, Hangzhou 310018, China;
2. Zhejiang Provincial Special Equipment Inspection and Research Institute, Zhejiang Key Laboratory of Special Equipment Safety Testing Technology, Hangzhou 310020, China
Abstract: In order to detect the running speed of the escalator, a method for the escalator step speed measurement based on machine vision is proposed. Firstly, perform a series of pre-processing on the run-level images of the escalator acquired by the machine vision system and identify the target color by setting thresholds. Then, fill out the disconnected areas after color extraction by linear scanning method, edge detection and contour recognition are used on the obtained binary image, return the image with the largest contour area. Finally, extract the abscissa of the starting point of the right boundary line of the yellow area in each image and the difference method is used to calculate the speed of the escalator step. The results show that the method achieves non-contact measurement and can obtain more accurate detection results.
Key words: machine vision     speed     difference method     escalator    
0 引 言

如今,自动扶梯广泛应用于我们的日常生活中,尤其是商场、地铁车站、医院等人流量较为密集的公共场所,人们在享受着它带来的便捷的同时也不能忽略其潜在的安全隐患[1]。据统计,近些年来自动扶梯事故发生率呈逐年上升趋势,对扶梯乘客的身心和财产都构成了巨大的威胁,因此,对于自动扶梯的运行参数进行定期检测是保障扶梯的安全运行的重要举措[2]

我国2011年出台的GB16899-2011《自动扶梯和自动人行道的制造与安装安全规范》[3]中,新增和改进了对自动扶梯和人行道检测检验的许多要求,其中,对自动扶梯扶手带与踏板、梯级的速度检测还作了强制性规定。

目前我国针对自动扶梯的梯级或扶手带的速度测量,仍沿用转速表人工测量的方式,存在误差大和读数不稳定的缺点[4]。有关单位研究设计的一些基于光电式编码器[5-6]的自动扶梯运行参数测试工具[7-9],一般采用接触式的测量方式,通过检测测速轮的滚动速度间接测量被测物体的直线运动速度、位移信息。此种方法对于测试设备的安装要求较高,为了避免引入不必要的误差,测速轮滚动的线速度方向要与被测物体的直线运动速度方向尽可能保持一致[10]。而且接触式的设备容易附着被测物体上的灰尘、油污等附加物,也会因为测速轮的接触磨损,影响测量精度。

由于机器视觉测量系统可以实现非接触式测量且测量精度也能够达到项目实际需要,因此借助机器视觉测速是国内外学者研究的热点之一[11-13]。机器视觉中的运动检测方法很多,如光流法、块匹配运动分析法、图像序列帧差法等,其中图像序列帧差法是一种易于操作且十分有效的方法,场景中的目标的运动状况都会体现在图像序列的变化上[14-15]

为了克服市面上接触式测量仪的一些精度缺陷,本文提出一种基于机器视觉的自动扶梯梯级测速方法,通过对机器视觉系统采集得到的自动扶梯梯级运行图像进行目标颜色识别、直线扫描填充、轮廓识别、直线提取、速度计算等多步处理,能够有效地实现自动扶梯梯级运行速度的测量。

1 系统构架 1.1 硬件构架

机器视觉测速系统的硬件部分主要包括工业摄像机、镜头、计算机等器件。自动扶梯梯级的运行图像主要是通过工业摄像机和镜头配合进行拍摄,然后图像通过USB或者千兆以太网接口传输到计算机,由计算机内部的软件系统进行一系列的图像处理提取得到特征值,并通过数据分析计算最终实现梯级的速度测量。

图1所示,工业相机及其支架摆放在自动扶梯出入口处进行水平梯级运行图像的拍摄。

图 1 自动扶梯运行图像的拍摄

1.2 软件构架

机器视觉测速系统的软件部分主要包括图像目标颜色识别、直线扫描与填充、轮廓检测、特征值提取、梯级速度计算等模块,如图2所示。

图 2 系统的软件构架

2 图像处理 2.1 提取目标颜色

在进行目标颜色的提取之前首先需要对图像进行一些简单的预处理,整体步骤如图3所示。

图 3 提取目标颜色的流程图

一般情况下,摄像机拍摄时容易将自动扶梯除梯级以外的某些部位拍摄进去,因此为了排除干扰,可以通过设置感兴趣区域只留下图像中与梯级有关的区域。其次,为减少光照变化对图像颜色本质的影响,可将图像的颜色空间由RGB转换到HSV。然后通过设置饱和度上、下限值,亮度上、下限值,色度上、下限值这6个阈值参数完成对目标颜色的识别。颜色识别后,针对图像上仍存在的一些离散的噪点,采用中值滤波滤除,并且保护了图像的边缘信息。梯级图像目标颜色的提取如图4所示。

图 4 梯级图像目标颜色提取

2.2 直线扫描与填充

由于梯级黄色区域的不连通,颜色提取降噪后的图像也是由若干个不连通的小区域构成的,为了提高后续轮廓提取工作的可操作性,需要对这些不连通区域进行最大化连通。由于实际拍摄的角度存在不确定性,因此本文采用0°~180°直线扫描填充的方法,找到最佳填充角度并返回白色区域面积最大的图像。具体算法如下:

第一步:如图5(a)所示,以图像的左上角为原点O,水平向右为u轴正方向,竖直向下为v轴正方向建立坐标系。图像的横、纵坐标的最大值分别为umaxvmax

图 5 直线扫描法示意图

第二步:令θi(0°≤θi≤180°)为坐标平面中第i组扫描直线与u轴正方向的夹角,满足:

${\theta _i} = 0 + i\Delta \theta \left( {i = 0,1,2, \cdots } \right)$ (1)

其中,Δθ为设定的固定角度增量。

第三步:根据式(1)中的θi构造与之对应的第i组平行扫描直线lijj=0,1,2,···,umax。令k=vmax/umax

当0°≤θi<90°时,直线lij满足:

$\left\{ {\begin{array}{*{20}{l}} {{{u}_{{}_{{0}}}}{{ = j }}} \\ {{{v}_{{}_{{0}}}}{{ = }} - {{jk + }}{{{v}}_{{{\rm max }}}}} \\ {{{v = }}\left( {{{u}} - {{{u}}_{{}_{{0}}}}} \right){{\rm tan}}{{{\theta }}_{{i}}}{{ + }}{{{v}}_{{}_{{0}}}}} \end{array}} \right.$ (2)

其中,u0v0分别为图像平面副对角线上的点的横、纵坐标值。

θi=90°时,直线lij满足:

${{u = j}}$ (3)

当90°<θi≤180°时,直线lij满足:

$\left\{ {\begin{array}{*{20}{l}} {{{{u}}_{{}_0}}{{ = j }}} \\ {{{{v}}_{{}_0}}{{ = kj }}} \\ {{{v = }}\left( {{{u}} - {{{u}}_{{}_0}}} \right){{\rm tan}}{\theta _{{i}}}{{ + }}{{{v}}_{{}_0}}} \end{array}} \right.$ (4)

其中,u0v0分别为图像平面主对角线上的点的横、纵坐标值。

第四步:当扫描直线与图像边界相交时,则该直线为有效直线,对该直线上每一像素点的像素值进行判断,统计每一条直线上的白色亮点个数,若亮点个数大于等于设定阈值n,则将该直线所有像素点填充为白色,反之则将该直线所有像素点填充为黑色。

j=j+1,重复第三步的工作,若直线lij与图像边界不相交,且θi<180°,则说明第i组平行线全部扫描结束。利用Canny边缘检测法查找图像经第i组平行直线扫描并进行像素点填充后的轮廓,同时计算轮廓的面积Si。一般来说,θiSi一一对应。

i=i+1、j=0,重复第二步的工作。若直线lij与图像边界不相交,且θi>180°,说明对该图像的扫描工作全部完成。筛选θi对应的轮廓面积Si,返回轮廓面积最大的二值图像,对它进行下一步处理。

θi处于不同角度范围时,所对应的平行直线组扫描示意图如图5(b)(c)(d)所示,为了直观可见,将图中的平行直线组中相邻直线的间隔进行了放大。

2.3 提取特征值

图6所示,将返回得到的最大面积轮廓图像利用概率霍夫变换进行直线提取。令黄色区域左右两条边界直线分别为l1l2,其起始端点的横坐标分别为u1u2,黄色区域的宽度为w1图7是相机水平拍摄的自动扶梯自上往下运行时,梯级黄色区域左、右边界直线l1l2在感兴趣区域内的移动动态图,根据图7可知,当自动扶梯自上往下运行时,当黄色区域开始进入感兴趣区域时,只能提取到右边界直线l2,且满足|u2|sinθi<w1;随着黄色区域逐渐进入感兴趣区域,可以同时提取到直线l1l2,且满足|u2u1|sinθi=w1;当黄色区域开始离开感兴趣区域后,只能提取到左边界直线l1,且满足|u1umax|sinθi<w1。本文提取的特征值为黄色区域右边界直线l2起始端点的横坐标u2,根据u2随时间t的变化进行下一步分析。

图 6 轮廓直线提取

图 7 梯级黄色区域左、右边界直线l1、l2在感兴趣区域内的移动动态图

3 梯级速度计算 3.1 速度模型

根据采集得到的离散数据,以时间t为横轴,黄色区域右边界直线l2起始端点的横坐标u2为纵轴建立坐标系。

对每一段周期内的离散点利用最小二乘法进行多项式拟合,通过比较一次函数拟合和二次函数拟合的和方差(SSE)和确定系数(R-Square)的来选择最优拟合方案。

拟合完成后,计算得到每一段拟合曲线与t轴的交点Tn(n=1,2,3,···),Tn即为黄色区域右边界直线l2的起始端点第n次进入感兴趣区域内的时刻。

最后,利用差分法计算第n次梯级黄色区域右边界直线l2起始端点刚进入感兴趣区域的瞬时速度vn(n=2,3,4,···)。当自动扶梯处于加速、匀速、减速这三个不同的运行阶段时,分别对每个阶段的离散点利用最小二乘法进行多项式拟合并求根。如图8所示,对相邻三段离散点拟合求根后得到Tn-1TnTn+1。根据差分法,令梯级的宽度为l,则

图 8 离散点的多项式拟合

${v_n} = \frac{{2l}}{{\left( {{T_{n + 1}} - {T_{n - 1}}} \right)}}\left( {n = 2,3,4, \cdots} \right)$ (5)
3.2 误差分析

根据式(5),令

$\Delta {T_n} = {T_{n + 1}} - {T_{n - 1}}\left( {n = 2,3, \cdot \cdot \cdot } \right)$ (6)

vn的误差为:

${\delta _{{v_n}}} = \left| {\frac{2}{{\Delta {T_n}}}{\delta _l} - \frac{{2l}}{{{{\left( {\Delta {T_n}} \right)}^2}}}{\delta _{\Delta {T_n}}}} \right|$ (7)

根据式(7),本文提出的机器视觉测速方法的误差主要从δlδΔTn两方面进行分析,其中δl主要指手动测量梯级宽度的误差,δΔTn可以从以下几个方面进行分析:环境误差,相机拍摄误差,图像处理的误差,以及分段离散点的最小二乘法拟合的误差等。

1)梯级宽度测量误差

梯级宽度是由手动测量得到的,测量结果会存在一定的随机误差。可以通过多次重复测量取平均值来减少梯级宽度的测量误差。

2)环境误差

环境误差主要指外界因素对于工业摄像机的拍摄产生的影响,例如拍摄地点光线的强度变化以及地面的震动等。光线问题会对拍摄物体的色彩状况产生一定的影响,可以通过在图像采集程序中加入自动白平衡设置来减少影响,而电梯运行引起的地面震动则会对相机支架的稳定性造成轻微影响,需要在实验中进行人为的加固减少震动的干扰。

3)相机的拍摄误差

在实际操作中,相机拍摄的误差主要有采样误差和超时误差。采样误差主要指由于工业相机时钟频率不稳导致图像的采样间隔不一致所引起的误差,而超时误差则是由千兆网相机调试时由于心跳超时导致设备掉线所引起的。针对图像的采样误差,可在图像采集程序中选用高精度定时器,掉线问题可以通过增加心跳超时时间的方式来解决。

4)图像处理误差

影响图像处理精度的因素主要包括图像噪声、颜色提取过程中3个阈值的设置、直线扫描填充过程中的亮点阈值的设置等。噪声问题可以根据图像的噪声特点选择合理的滤波方式得到有效改善。其余两个阈值设置也可以通过多次实验调整找到最优方案。

5)最小二乘法拟合误差

最小二乘拟合误差主要存在于对图像处理后采集得到的离散点进行多项式拟合的过程中,通过比较方差和确定系数的大小来确定最优拟合方案。

一般来说,和方差越小且确定系数越接近1,则表示拟合的精度越高。通过选用合适的拟合方案能够有效减少误差。

工业相机拍摄帧率的大小对最小二乘拟合精度也有一定的影响,因此在条件允许的情况下,选用拍摄帧率较高的工业相机能够有效提高实验精度。

其中以上影响误差的因素中,主要影响因素为图像处理误差和最小二乘拟合误差。

4 实验分析

图9所示为梯级运行图像采集示意图,本实验采用大恒水星MER-504-10GC-P CCD相机配合M1614-mp五百万像素定焦镜头进行拍摄。相机的拍摄频率为f=9.89 Hz,测量得到梯级的宽度为l=0.325 m,采集得到的图像经过缩放以及感兴趣区域提取后的实际大小为612像素×512像素。通过摄像机拍摄了一百张左右的图像,提取得到的离散点经最小二乘法拟合后的结果如图10所示。

图 9 工业相机拍摄梯级运行图像

图 10 分段离散点的多项式拟合结果

经过多项式的根求解分别得到每次梯级黄色区域右边界直线l2起始端点进入感兴趣区域的时间Tn(n=1,2,3,···),再根据公式(5)计算对应的瞬时速度vn(n=2,3,4,···),计算结果如图11所示。

图 11 梯级速度

根据上述实验结果进行误差的估算,l=0.325 m,ΔTn≈1.6 s,则当δl=0.000 1 m,δΔTn如果按ΔTn的10%进行估算,得到δvn为0.04 m/s。在实际检测中,若采用帧率更高的工业相机则测量精度能够有效提升。

5 结束语

1)本文提出一种基于机器视觉的自动扶梯梯级测速方法,通过对摄像机采集得到的自动扶梯梯级运行图像进行目标颜色的识别、直线扫描填充、轮廓识别、直线提取、速度计算等多步处理,能够有效地实现自动扶梯梯级运行速度的测量。

2)摄像机采集图像的速度对差分法计算结果影响较大,实际应用时可根据需要使用较高速率的摄像机进行测量,以提高测量精度。

参考文献
[1]
袁桂芳, 曹丹琪. 自动扶梯扶手带与梯级运行速度允差的快速判定[J]. 中国设备工程, 2004, 4: 27. DOI:10.3969/j.issn.1671-0711.2004.01.014
[2]
刘易鑫, 魏斌, 郑徐豪. 一种基于MCU的自动扶梯测量仪设计和实现[J]. 国外电子测量技术, 2012, 31(8): 35-39. DOI:10.3969/j.issn.1002-8978.2012.08.011
[3]
自动扶梯与自动人行道的制造与安全规范:GB16899-2011[S].北京: 中国质检出版社, 2011.
[4]
梁敏健, 戚政武, 杨明祥. 一种自动扶梯运行参数快速精确检测方法的设计与实现[J]. 中国特种设备安全, 2016, 32(4): 29-32. DOI:10.3969/j.issn.1673-257X.2016.04.004
[5]
韩旭东, 徐新行, 刘长顺. 用于星载激光通信终端的绝对式光电角度编码器[J]. 光学精密工程, 2016, 24(10): 2424-2431.
[6]
KAPLAY E V. Identification and compensation of static errors in the phase coordinates of elements of an optical encoder[J]. Measurement Techniques, 2014, 57(5): 493-500. DOI:10.1007/s11018-014-0487-z
[7]
唐跃林, 郑徐豪, 吴德操, 等. 一种基于ARM处理器ATM32的手持式智能化自动扶梯同步率测试仪研制[J]. 国外电子测量技术, 2014, 33(8): 65-68. DOI:10.3969/j.issn.1002-8978.2014.08.016
[8]
邹亮华. 自动扶梯扶手带速度信号采集的研究[J]. 机电工程技术, 2013, 42(8): 119-121. DOI:10.3969/j.issn.1009-9492.2013.08.030
[9]
KOKUYAMA W, WATANABE T, NOZATO H, et al. Angular velocity calibration system with a self-calibratable rotary encoder[J]. Measurement, 2016, 82: 246-253. DOI:10.1016/j.measurement.2016.01.011
[10]
贾兴丹, 万秋华, 赵长海, 等. 光电式编码器测速方法现状与展望[J]. 仪表技术与传感器, 2018(3): 102-107. DOI:10.3969/j.issn.1002-1841.2018.03.024
[11]
陈荣保, 赵聃, 王乾隆. 基于图像处理的前方行驶车辆速度测量方法[J]. 传感器与微系统, 2018, 37(4): 17-23.
[12]
SUNDORO H S, HARJOKO A. Vehical counting and vehicle speed measurement based on video processing[J]. Journal of Theoretical and Applied Information Technology, 2016, 233-241.
[13]
LAN J, LI J, HU G, et al. Vehicle speed measurement based on gray constraint optical flow algorithm[J]. Optik-International Journal for Light and Electron Optics, 2014, 125(1): 289-295. DOI:10.1016/j.ijleo.2013.06.036
[14]
随宗宾, 高杨, 梁宇, 等. 基于车牌识别的机混车道视频测速算法[J]. 现代电子技术, 2015, 38(18): 125-127. DOI:10.3969/j.issn.1004-373X.2015.18.036
[15]
MADASU V K. HANMANDLU M. Estimate of vehicle speed by motion tracking on image sequences[J]. Intelligent Vehicles Symposium IEEE, 2010, 43(6): 185-190.