列表
00:00
/
00:00
l
r
  中国测试  2019, Vol. 45 Issue (2): 128-133

文章信息

陈至坤, 邸跃, 曾凯, 王福斌
CHEN Zhikun, DI Yue, ZENG Kai, WANG Fubin
基于线结构光的角钢截面几何参数三维测量
3D measurement of geometrical parameters of angle steel section based on line structured light
中国测试, 2019, 45(2): 128-133
CHINA MEASUREMENT & TEST, 2019, 45(2): 128-133
http://dx.doi.org/10.11857/j.issn.1674-5124.2018070090

文章历史

收稿日期: 2018-07-23
收到修改稿日期: 2018-08-19
基于线结构光的角钢截面几何参数三维测量
陈至坤 , 邸跃 , 曾凯 , 王福斌     
华北理工大学电气工程学院,河北 唐山 063210
摘要:针对人工检测角钢效率低、出错率高的问题,研究一种基于机器视觉测量技术的非接触检测方法,即利用线结构光扫描的角钢截面几何参数的测量方法。采用张正友标定法和最小二乘光平面拟合法完成测量系统的标定,通过线结构光三维扫描技术获取物体的原始三维点云数据,然后对经过配准、去噪以及简化处理的原始点云数据进行三维重建,得到物体三维几何模型。结合测量系统标定,提取角钢截面边宽度、边厚度、内圆弧半径3个参数。按国家标准对角钢截面几何参数进行图像测量,测量误差在±0.15 mm范围之内,实验结果表明采用该方法实现对角钢截面参数测量是可行的。
关键词视觉测量    角钢截面几何参数    线结构光    三维重建    
3D measurement of geometrical parameters of angle steel section based on line structured light
CHEN Zhikun , DI Yue , ZENG Kai , WANG Fubin     
College of Electrical Engineering, North China University of Science and Technology, Tangshan 063210, China
Abstract: Aiming at the problem of low efficiency and high error rate for manual inspection of angle steel, a non-contact detection method based on machine vision measurement technology was studied, which was a method for measuring the geometric parameters of angle steel sections using line structure light scanning. Calibration of measurement system was completed by Zhang Zhengyou calibration method and least squares fitting light plane, getting the original 3D point cloud data of the object with line structure light three-dimensional scanning technology. Then, the original point cloud data after registration, denoising and simplified processing was reconstructed to obtained a 3D geometric model of the object. Combined with measurement system calibration, three parameters of angle steel section edge width, edge thickness and inner arc radius were extracted. According to the national standard, the geometric parameters of the angle steel section were measured. The measurement error was within ±0.15 mm. The experimental results show that it is feasible to use this method to measure the cross-section parameters of angle steel.
Key words: vision measurement     angle steel section geometry     line structure light     3D reconstruction    
0 引 言

近年来,我国的电力和建筑行业发展迅速。作为输电铁塔和建筑钢材的重要组成部分,角钢的质量直接决定工程建设的质量。目前,大部分企业对角钢进行检测仍主要是手工操作,但人工检测角钢效率低、出错率高[1]。机器视觉测量技术具有非接触、集成性高、测量精度高等优点,在工业测量领域具有广阔的应用前景。

目前,国内外学者对角钢截面几何尺寸的智能检测研究甚少。迟迎[2]比较了从工业相机采集的铁塔构件图像和标准图纸,并通过软件判断铁塔构件各尺寸是否合格以达到非接触式在线检测铁塔构件的目的,但是该方法只实现了角钢孔型的测量。田相省[3]参考角钢塔构件几何尺寸检测的实际情况,确定了角钢塔构件几何尺寸的抽检项目、方案,开发了角钢塔构件几何尺寸检测及其信息管理系统,但尺寸测量方法是采用专用测量器具手动测量的,并没有实现非接触式测量。

本文提出来一种基于线结构光扫描的角钢截面几何参数的测量方法,采用张正友标定法和最小二乘光平面拟合法完成测量系统的标定,通过线结构光三维扫描技术来获取物体的原始三维点云数据。然后对原始点云数据进行配准、去噪以及简化等处理得到物体三维几何模型。结合测量系统标定,提取角钢截面边宽度、边厚度、内圆弧半径3个参数。

1 系统原理

线结构光传感器是基于主动三角法的视觉传感器[4-5],由摄像机和光投射器构成。通过光投射器在空间投射出一个光平面,光平面与测量对象相交,在测量对象表面获得一折线,并且可以通过折线拐点的像面坐标获得该点的空间坐标。光平面由摄像机建立与像平面间的透视关系,其几何结构如图1所示。

图 1 线结构光视觉传感器数学模型

在光平面上以 ${O_L}$ 为原点建立直角坐标系 ${O_L}{X_L}{Y_L}$ $oxyz$ 是摄像机坐标系, ${O_l}XY$ 是像面坐标系。为了便于讨论,根据右手法则把光平面坐标系 ${O_L}{X_L}{Y_L}$ 扩展到三维直角坐标系 ${O_L}{X_L}{Y_L}{Z_L}$ 。通过透视变换直接计算物点到像点的映射是非线性的,这增加了计算的难度。为此,使用齐次坐标系以线性方式表示非线性变换。

将像平面扩展到齐次坐标系,即 $(\rho X,\rho Y,\rho )$ ,考虑到实际研究的像平面都是有限的,所以不考虑无穷远点,把像平面齐次坐标表示为 $\rho (X,Y,1)$ ,且 $\rho \ne 0$ 。这种从物点到像点的映射关系可表示为

$\rho \left[ {\begin{array}{*{20}{c}} X \\ Y \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} f&0&0 \\ 0&f&0 \\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \end{array}} \right]$ (1)

由式(1)可知,像面坐标系扩展为齐次坐标系,摄像机坐标系仍使用直角坐标系,像面的齐次坐标系与摄像机坐标系建立一一对应,它们之间的转换关系由透视变换矩阵描述。

由于摄像机坐标系 $oxyz$ 和光平面扩展坐标系 ${O_L}{X_L}{Y_L}{Z_L}$ 同为直角坐标系,因此摄像机坐标系中光平面的位置可以由变换矩阵表示。根据空间解析几何知识有:

$\left[ {\begin{array}{*{20}{c}} X \\ Y \\ Z \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{r_1}}&{{r_2}}&{{r_3}}&{{T_x}} \\ {{r_4}}&{{r_5}}&{{r_6}}&{{T_y}} \\ {{r_7}}&{{r_8}}&{{r_9}}&{{T_z}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_L}} \\ {{Y_L}} \\ {{Z_L}} \\ 1 \end{array}} \right]$ (2)

其中: ${ R} = \left[ {\begin{array}{*{20}{c}} {{r_1}}&{{r_2}}&{{r_3}} \\ {{r_4}}&{{r_5}}&{{r_6}} \\ {{r_7}}&{{r_8}}&{{r_9}} \end{array}} \right]$ 为正交的旋转矩阵, $({r_1},{r_4},{r_7})$ $({r_2},{r_5},{r_8})$ $({r_3},{r_6},{r_9})$ 分别为 ${O_L}{X_L}$ ${O_L}{Y_L}$ ${O_L}{Z_L}$ 轴方向的单位矢量在摄像机坐标系中的方向余弦;平移矢量 ${ T} = ({T_x},{T_y},{T_z})$ 是摄像机坐标系 $oxyz$ 中光平面坐标系原点 ${O_L}$ 的坐标。

将式(2)代入相机透视变换模型式(1),可得

$\rho \left[ {\begin{array}{*{20}{c}} X \\ Y \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {f{r_1}}&{f{r_2}}&{f{r_3}}&{f{T_x}} \\ {f{r_4}}&{f{r_5}}&{f{r_6}}&{f{T_y}} \\ {{r_7}}&{{r_8}}&{{r_9}}&{{T_z}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_L}} \\ {{Y_L}} \\ {{Z_L}} \\ 1 \end{array}} \right]$ (3)

考虑到光平面内 ${Z_L} = 0$ ,则有

$\rho \left[ {\begin{array}{*{20}{c}} X \\ Y \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {f{r_1}}&{f{r_2}}&{f{T_x}} \\ {f{r_4}}&{f{r_5}}&{f{T_y}} \\ {{r_7}}&{{r_8}}&{{T_z}} \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_L}} \\ {Y_L^{}} \\ 1 \end{array}} \right]$ (4)

式(4)是线结构光传感器的数学模型。可以看到,只要知道光平面和相机之间的位置关系,即旋转矩阵 $ R$ 、平移矢量 $ T$ 和相机的有效焦距 $f$ ,就可以从该点的像面坐标获得光平面中该点的坐标,并且完成光平面中的点的二维测量。根据式(4)可以进一步确定在摄像机坐标系中点的三维坐标。

2 测量系统搭建

系统测量流程如下:启动系统后先进行系统的初始化,获取相机标定参数、结构光平面方程以及移动位姿数据;在移动平台上放置好被测物体角钢后,移动平台运动并开启相机和线结构光,进行线结构光扫描和图像采集;扫描结束后,提取每一帧图像进行处理,得到整个角钢截面的形貌特征,进而进行三维重建,然后进行参数提取和测量,判断其是否合格。

本研究是基于Win7平台利用Halcon软件开发的。实验平台由工业相机、精密位移平台、线激光器、Led光源、计算机组成,如图2所示。图像采集装置是Mako G-192C的工业相机,线激光器是西安思拓光电技术有限责任公司的ST635L5红光一字线激光器,Led光源放置在视觉传感器同侧。精密位移平台是北京卓立汉光公司生产的PSA-300电控位移台,其行程差每100 mm的误差小于10 μm。

图 2 实验平台

3 实验与分析

利用实验研究平台,进行实际测量以验证测量系统的可行性。采用唐山某钢铁公司生产的型号分别为∠60 mm×60 mm×6 mm、∠70 mm×70 mm×7 mm、∠75 mm×75 mm×9 mm、∠80 mm×80 mm×9 mm的角钢,经过热切割处理后,取长度为20 mm的4种型号切割件作为被测物。

在实际实验中,分别对4种型号角钢截面的边宽度、边厚度、内圆弧半径3个参数的进行测量。每种型号角钢截面的3个参数分别测量3次,并与实际值对比,计算测量误差。因每种型号角钢测量方法相同,选取∠80 mm×80 mm×9 mm的角钢为例进行分析。

3.1 相机标定

在该系统中,摄像机的标定方法采用张正友[6]标定法,实验采用60 mm×60 mm的实心圆阵列陶瓷标定板,精度为0.001 mm。其圆点数目为7×7,圆点直径为3.75 mm,圆心间距为7.5 mm。根据张正友标定法,需要采集不同方向下12张标定板图像如图3所示,利用Halcon标定助手进行标定,标定结果如表1所示。

图 3 标定板图像

表 1 摄像机位姿参数
相机标定 数值 摄像机位姿 数值
f/mm 8.414 16 X/mm 5.689 13
Kappa –1 380.52 Y/mm –0.974 31
Sx/μm 4.499 58 Z/mm 109.349
Sy/μm 4.500 X方向旋转/(°) 357.196
Cx/像素 733 Y方向旋转/(°) 358.598
Cy/像素 592.818 Z方向旋转/(°) 266.009

3.2 光平面标定

首先,在标定板上建立一个三维世界坐标系,并通过刚体变换将相机坐标系中的特征点转换到这个局部的世界坐标系中,如果该点 $({x_w},{y_w},{z_w})$ 是世界坐标系上的一点,则可以通过旋转矩阵和平移量来描述:

$\left[ {\begin{array}{*{20}{c}} {{x_c}} \\ {{y_c}} \\ {{z_c}} \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} { R}&{ t} \\ {{{ O}^{\rm T}}}&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{x_w}} \\ {{y_w}} \\ {{z_w}} \\ 1 \end{array}} \right]$ (5)

从摄像机坐标系到局部的世界坐标系的变换由下式表示:

$s\left[ {\begin{array}{*{20}{c}} u \\ v \\ 1 \end{array}} \right] = {{ M}_1}{{ M}_2}\left[ {\begin{array}{*{20}{c}} {{x_w}} \\ {{y_w}} \\ {{z_w}} \\ 1 \end{array}} \right]$ (6)

其中, ${{ M}_1}$ ${{ M}_2}$ 分别为摄像机的内部参数矩阵和外部参数矩阵。

因为在标定板上建立的世界坐标系, ${z_w}$ 为0,令 ${ K} = {{ M}_1}{{ M}_2}$ ,则式(6)可改写为如下:

$s\left[ {\begin{array}{*{20}{c}} u \\ v \\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{{ K}_1}}&{{{ K}_2}}&{{{ K}_3}} \end{array}} \right]{{ P}_W}$ (7)

其中 ${{{K}}_1}$ ${{{K}}_2}$ ${{{K}}_3}$ 为原参数矩阵的第1、2、4列向量。

光平面方程的计算步骤如下[7]:首先确定线激光器的位置保持不变,打开线结构光,使结构光打再标定板的边缘空白区;然后采集图像提取光条信息,取条纹直线上的角点作为第一组特征点,相机坐标系中这些特征点的坐标可由式(5)和式(7)获得;接下来,保持线激光器位置不动,调整标定板位置,使其略高于第一次标定板的位置,使光条仍打在标定板的边缘空白区,然后重复上一步骤,最后得到高位姿、低位姿光条图像的特征点的相机坐标。高位姿、低位姿光条图像如图4所示。然后,使用最小二乘法拟合[8],光平面的拟合结果如图5所示。

图 4 高位姿、低位姿光条图像

图 5 光平面拟合结果

3.3 移动位姿标定

移动位姿标定仅需在不同移动位置采集两张标定板图片。完成第一张标定板图像采集后,需要在标定板移动足够多的步数后采集第二张图片,提高标定精度。由于物体在测量平台上的位姿仅在没有旋转的情况下平移,因此可以通过标定板的平移向量 $\left[ {x,y,z} \right]$ 除以步数来获得单步的移动位姿。光平面与移动位姿标定结果如表2所示。

表 2 光平面与移动位姿标定结果
参数 光平面位姿标定数据 移动位姿标定数据
X轴平移/mm 0.004 270 73 0.000 595 428
Y轴平移/mm 0.001 415 47 –1.862 1e-006
Z轴平移/mm –0.010 685 7 1.772 93e-005
X方向旋转角/(°) 326.822 0
Y方向旋转角/(°) 78.316 2 0
Z方向旋转角/(°) 32.630 5 0

3.4 灰度重心法光条提取

在线结构光测量中,线激光图像是携带测量信息的唯一来源。而在实际测量中,线结构光图像在相机坐标系中的坐标需要在测量数学模型中进行计算,以获得被测物的世界坐标系。所以在线结构光测量中,光条提取的精度显得至关重要。

目前常见的线激光条纹中心线提取算法有极值法、几何中心法、灰度重心法和Hessian矩阵法[9]。在测量过程中,系统需要实时处理工业相机采集的光条图像,所以需要在满足亚像素精度的条件下优先考虑算法的运行速度。综合以上考虑,选择灰度重心法[10-11]实现光条中心的提取。对光条的采集首先确立兴趣区ROI,然后再确立阈值。算法原理如图6所示。

图 6 灰度重心法原理

灰度重心法用于提取光条中心坐标如下所示:

$\begin{aligned} u_{{}_{\!j}}=&j\\ v_i =& \frac{{\displaystyle\sum\limits_i {iG(i,j)} }}{{\displaystyle\sum\limits_i {G(i,j)} }}\end{aligned}$ (8)

其中,G(ij)为光条第i行和第j列的灰度值,(ujvi)为光条中心的坐标。

通过该方法提取到的光条带中心坐标能达到亚像素级别。但在实际测量中,由于角钢截面为光滑金属表面,这使得激光照射在角钢表面会产生漫反射,传统的灰度重心法使用单个阈值来确定激光条纹区域,然后计算每列灰度重心对应的像素行坐标。其将不可避免地带来相应的误差并影响测量结果。鉴于上述问题,采用改进的灰度重心法[12],其流程见图7。通过改进的灰度重心法提取扫描过程中每一帧图像的光条信息,经过处理后,得到整个角钢截面的形貌特征,最后得到图8所示扫描视差图。

图 7 改进灰度重心法算法流程图

图 8 线结构光扫描视差图

3.5 三维重建

得到扫描视差图后,经过处理可得到角钢截面原始三维点云图。首先利用ICP算法对物体的原始三维点云图进行点云配准,然后对配准的图像进行高斯滤波[13],高斯滤波属于线性平滑去噪滤波,具有简单而快速的优点。由于大多数的噪声可以看作是高斯分布,因此使用低通高斯滤波去除噪声就成一种有效且实用的方法。高斯滤波可由以下形式表示:

${I_{\rm{gf}}}(x,y) = \frac{{\displaystyle\sum\limits_{(i,j) \in {W_{x,y}}}^{} {{\omega _{\rm d}}(i,j)I(i,j)} }}{{\displaystyle\sum\limits_{(i,j) \in {W_{x,y}}}^{} {{\omega _{\rm d}}(i,j)} }}$ (9)

其中, $W_{x,y}$ 表示中心像素 $(x,y)$ $M \times M$ $M$ 奇数)大小的邻域; $\omega _{\rm d}$ 为空间距离相似度权重因子。

滤波后采用全局采样的方法对点云数据实现点云简化,降低运算速度[14]。最后Delaunay三角剖分方法[15]用于对点云数据进行三角连接以完成点云封装。得到角钢截面的三维模型图如图9所示。

图 9 三维模型图

得到三维模型后,对角钢截面三维模型进行直线拟合,拟合后得到直线起点和终点的三维坐标,然后通过两点的三维坐标结合测量系统标定计算出两点的距离,从而得到角钢截面的两个边宽度,边厚度的测量值。通过最小二乘法使内圆弧半径圆化以获得其半径。测量结果如表3所示。

表 3 测量结果
参数 实际尺寸 测量值1 误差 测量值2 误差 测量值3 误差
边宽度/
mm
79.30 79.397 0.097 79.405 0.105 79.166 −0.134
79.28 79.363 0.083 79.406 0.126 79.130 −0.15
边厚度/
mm
9.00 9.097 0.097 9.105 0.105 8.896 −0.104
9.02 9.086 0.066 9.121 0.101 8.902 −0.118
内圆弧
半径/mm
9.00 9.09 0.09 9.12 0.12 8.89 –0.11

根据国家标准GB/T 706-2016 角钢尺寸、外形允许偏差中边宽度大于56~90 mm的等边角钢,边缘宽度允许偏差±1.2 mm,边缘厚度允许偏差±0.6 mm。可知该角钢抽检合格。测量结果表明,该方法测量误差可以控制在±0.15 mm范围之内。测量偏差符合国家标准,提高了测量精度。

4 结束语

本文提出一种基于线结构光扫描的角钢截面几何参数的测量方法,采用张正友标定法和最小二乘光平面拟合法完成测量系统的标定,通过线结构光三维扫描技术获取物体的原始三维点云数据,然后对原始点云数据进行配准、去噪以及简化等处理得到物体三维几何模型。结合测量系统标定,提取角钢截面边宽度、边厚度、内圆弧半径3个参数。实验结果表明本方法测量误差在±0.15 mm范围之内。测量偏差符合国家标准,提高了测量精度。

参考文献
[1]
徐国钧. 我国输电铁塔型材应用现状及优化措施[J]. 基建管理优化, 2011, 23(3): 7-9.
[2]
迟迎. 铁塔构件检测仪的结构与伺服系统设计[D]. 长春: 长春理工大学, 2012.
[3]
田相省. 角钢塔构件几何尺寸检测及其信息管理系统开发[D]. 济南: 济南大学, 2017.
[4]
崔亮纯. 线结构光三维测量系统关键技术的研究[D]. 广州: 华南理工大学, 2016
[5]
余乐文, 张达, 张元生. 基于线结构光的三维测量系统关键技术研究[J]. 光电子·激光, 2016, 27(2): 156-161.
[6]
ZHANG Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11):1330-1334.
[7]
段发阶, 刘凤梅. 一种新型线结构光传感器结构参数标定方法[J]. 仪器仪表学报, 2000, 21(1): 108-110. DOI:10.3321/j.issn:0254-3087.2000.01.032
[8]
宋大虎, 李忠科, 程春霞. 基于线结构光的三维坐标测量技术研究[J]. 计算机工程, 2012, 38(22): 291-293. DOI:10.3969/j.issn.1000-3428.2012.22.073
[9]
李莹莹, 张志毅, 袁林. 线结构光光条中心提取综述[J]. 激光与光电子学进展, 2013, 50(10): 13-22.
[10]
张小艳, 王晓强, 白福忠, 等. 基于改进灰度重心法的光带中心提取算法[J]. 激光与红外, 2016, 46(5): 622-626. DOI:10.3969/j.issn.1001-5078.2016.05.022
[11]
包辉. 亚像素级激光条纹检测及特征提取算法研究[D]. 沈阳:沈阳航空航天大学, 2018.
[12]
沈波波, 许嘉璐, 孔明. 基于线结构光的空调四通换向阀高度测量[J]. 中国测试, 2018, 44(3): 33-37.
[13]
姒绍辉, 胡伏原, 顾亚军, 等. 一种基于不规则区域的高斯滤波去噪算法[J]. 计算机科学, 2014, 41(11): 313-316. DOI:10.11896/j.issn.1002-137X.2014.11.062
[14]
付玮, 吴禄慎, 陈华伟. 基于局部和全局采样点云数据简化算法研究[J]. 激光与红外, 2015, 45(8): 1004-1008. DOI:10.3969/j.issn.1001-5078.2015.08.026
[15]
龚硕然. 基于Delaunay三角剖分的点云三维网格重构[D]. 保定: 河北大学, 2015.