列表
00:00
/
00:00
l
r
  中国测试  2019, Vol. 45 Issue (2): 134-138

文章信息

陆红红, 殷鸣, 谢罗峰, 向枭, 殷国富
LU Honghong, YIN Ming, XIE Luofeng, XIANG Xiao, YIN Guofu
基于面结构光的叶片三维重构技术研究
Research on 3D reconstruction technology of blade based on surface structured light
中国测试, 2019, 45(2): 134-138
CHINA MEASUREMENT & TEST, 2019, 45(2): 134-138
http://dx.doi.org/10.11857/j.issn.1674-5124.2018010074

文章历史

收稿日期: 2018-01-23
收到修改稿日期: 2018-05-11
基于面结构光的叶片三维重构技术研究
陆红红 , 殷鸣 , 谢罗峰 , 向枭 , 殷国富     
四川大学制造科学与工程学院,四川 成都 610065
摘要:为提高叶片三维检测速度与相位解码过程中的准确性等,通过选择投射解码准确率高的格雷码编码策略的结构光,同时避免叶片表面涂显影剂与粘贴标定点的方法,进行基于面结构光的叶片三维重建技术研究。通过选择合理的实验设备,设计机械结构,搭建一种基于面结构光的三维视觉检测实验系统。对三维视觉检测实验系统的标定方法与重构算法进行理论研究,利用三维视觉检测实验系统完成叶片某一位置的三维重构实验,并获得叶片的离散点云数据;试验结果进一步论证所设计系统的可行性,可为后续叶片三维视觉检测实验系统的研究提供基础。
关键词三角重构法    投影仪标定    叶片    重建实验    
Research on 3D reconstruction technology of blade based on surface structured light
LU Honghong , YIN Ming , XIE Luofeng , XIANG Xiao , YIN Guofu     
School of Manufacturing Science and Engineering, Sichuan University, Chengdu 610065, China
Abstract: In order to improve the accuracy of the three-dimensional detection speed and phase decoding process of the blade, the research on the three-dimensional reconstruction technology of the blade based on surface structured light was carried out by selecting the structure light of gray code coding strategy with high projection decoding accuracy and avoiding coating developer and pasting calibration points on the surface of the blade. By selecting reasonable experimental equipment and designing mechanical structure, a three-dimensional visual inspection experimental system based on surface structured light is constructed. And the calibration method and reconstruction algorithm of the three-dimensional visual inspection experimental system are studied theoretically. The three-dimensional reconstruction experiment of a certain position of the blade is completed by using the three-dimensional visual inspection experimental system, and the discrete point cloud data of the blade is obtained. The experimental results further demonstrate the feasibility of the designed system, and lay a good foundation for the subsequent research of three-dimensional blade measurement system.
Key words: triangulation method     projector calibration     blade     reconstruction experiment    
0 引 言

叶片作为航空发动机的关键部件,其表面质量和尺寸精度直接影响发动机性能。因此,对叶片表面的检测技术的研究至关重要。目前叶片检测方法分为接触式和非接触式测量,其中常见三坐标测量机属于接触式测量技术[1],结构光三维测量技术属于非接触式测量。随着光学技术和图像处理技术的发展,非接触式的结构光测量技术以很高测量速度、较高精度、实时性强等优点,获得人们的青睐,在工业环境中得到广泛应用[2]

结构光三维检测技术是基于光学的三角法测量原理。结构光测量系统一般由光学投射器、摄像机、计算机组成。由投射器投射一定模式的结构光到被测物体上,由摄像机拍摄因被测物体高度调制的光条图像,利用图像处理技术找到变形图像和投影图像的对应关系,求解出物体的高度信息,再结合系统的标定结果,获得被测物体三维空间坐标[3]

近年来,叶片的三维重建技术研究受到广大国内外学者的青睐。文献[4]主要搭建相位测量三维轮廓系统对叶片测量,测量精度较高,但相位解码容易出错。文献[5]研究非接触式白光测量机在叶片测量中的研究与应用,该方法精度高,但坐标系统建立困难。文献[6]研究一定模式的结构光序列,主要解决叶片反光问题,提高获得叶片点云的精度,但降低叶片三维重构的速度。文献[7]研究基于光栅和激光的三维光学扫描技术研究,但是该方法需要对叶片进行涂显影剂和粘贴标定点,降低叶片三维重构的精度。

为了满足叶片型面检测速度快与解码准确等需求,采用基于面结构光三维检测技术对叶片模型进行三维重建理论研究,选格雷码结构光,在叶片表面避免涂显影剂或贴标定点的情况下;研究系统标定方法,提高叶片重构精度,尤其是介绍了投影仪标定的原理,为投影仪标定算法研究提供书面参考。文中将结合三角测量法、结构光编码、系统标定方法等关键技术介绍获取某一位置叶片表面点云数据的过程,为下一步进行叶片三维重建技术的研究作铺垫。

1 基于面结构光的三角测量法 1.1 针孔模型和透视投影

用于摄像机和投影仪的最简单最常用的几何模型是针孔模型,由平面和平面外一点组成。平面称为图像平面,点称为投影中心。在针孔模型中,空间任意一个3D点确定通过摄影中心的唯一的一条直线。如果该直线与图像平面不平行,必与图像平面相交一点。把这种从3D点到2D点的映射称为透视投影。投影仪常被看作逆向相机,可以用相同的模型描述投影仪模型。也就是说,给定任意2D图像点,必须存在唯一通过投影中心的直线。

1.2 面结构光三角法重建

采用格雷编码的竖直黑白条纹,投影模式中包含可以识别的线和点。根据投影仪的透视投影可知,投影模式中的线和投影中心确定唯一的光平面,投影模式的点确定通过投影中心的一条直线。投射器投射出的光平面P相交被测物体一条弯曲段,弯曲的线段由许多点组成。每一个3D点对应通过摄像机中心的一条线。在已知面结构光三维视觉系统的相对位置和方向的假设下,可以利用光平面P和通过摄像机光心qL的直线相交,求任意被测物体上的3D点p。利用线面交点得三角重构法如图1所示。要获得被测物体的三维点云数据,即要获得光平面的方程和对应摄像机光线。

图 1 利用线面交点的三角重构法

1.3 坐标系统简介

在摄像机模型中,摄像机坐标系OC-XCYCZC为右手系,OC为光心,ZC轴为摄像机光轴重合,与图像平面垂直。世界坐标系O-XWYWZW为右手系。图像平面上定义图像坐标系O0-uv,以像素为单位,原点为图像的左上角点;在图像平面上还定义以物理为单位的像平面直角坐标系O1-xy,原点为摄像机光轴和图像平面的交点,该点被称为图像主点。其中XCYC轴与图像平面坐标系的xy轴平行,OCO1为摄像机焦距fPC为摄像机坐标系下任意一点,该点在世界坐标系下为PW

摄像机坐标系与世界坐标系的关系可以用旋转矩阵R与平移向量T描述,即:

$ {{{P}}_{\rm{C}}} = {{R}}{{{P}}_{{\rm W}}} + {{T}} $ (1)

根据针孔模型可知图像像平面坐标系和摄像机坐标系的关系式为

$ \lambda {{u}} = {{{P}}_{\rm{C}}} $ (2)

其中λ≠0,λ为透视变换系数,u为图像坐标像素坐标。可以得到世界坐标系和图像像平面的关系为

$ \lambda {{u}} = {{R}}{{{P}}_{\rm{W}}} + {{T}} $ (3)

为弥补摄像机模型的局限性,引入固定矩阵K,则投影关系可变为

$ \lambda {{u}} = {{K}}\left( {{{R}}{{{P}}_{\rm{W}}} + {{T}}} \right) $ (4)
1.4 光平面和摄像机光线的求解

结合数学知识,直线L可以用直线上一点qL和方向向量m表示,p是直线上任意一点,即:

$ { L} = \left\{ {{ p} = {{ q}_{\rm L}} + \lambda {{m}}:{\lambda } \in {\bf R}} \right\} $ (5)

求摄像机光线只需求出一点和一个方向向量即可。由于旋转矩阵R,有R–1= ${ R}^{\rm T} $ ,则式(3)可变为:

$ {{{P}}_{\rm{W}}} = \left( {-{{{R}}^{\rm{T}}}{{T}}} \right) + \lambda \left( {{{{R}}^{\rm{T}}}{{u}}} \right) $ (6)

可以用点qL= $ -{ R}^{\rm T}{ T}$ ,以及方向向量m= $ { R}^{\rm T}{ u}$ 来表示通过摄影中心的直线L。平面可以用法向量n和平面上p点、qP点的向量表示。即:

$ { P} = \left\{ {{ p}:{{{n}}^{\rm{T}}}\left( {{ p} - {{ q}_{\rm P}}} \right) = 0} \right\} $ (7)

投射面结构光中包含可识别的直线L,该直线的方程可以用图像坐标表示[8],即:

$ L = \left\{ {{{u}}:{{{l}}^{\rm{T}}}{{u}} = {l^1}{u^1} + {l^2}{u^2} + {l^3} = 0} \right\} $ (8)

其中l为方向向量,l=(l1,l2, l3), l1≠0, l2≠0。竖直直线的方程为:

$ {L_{\rm V}} = \left\{ {{{u}}:{{{l}}^{\rm{T}}}{{u}} = {u^1} - v = 0} \right\} $ (9)

其中v是直线上点的第一个坐标,此时的l=(1,0,–v)T。对于光平面P上任意一点的世界坐标系PW,图像平面的坐标为u;竖直直线在光平面上,直线的上的点应该满足平面方程,则:

$ 0 = \lambda {{{l}}^{\rm{T}}}{{u}} = {{{l}}^{\rm{T}}}\left( {{{R}}{{{P}}_{\rm{W}}} + {{T}}} \right) = {\left( {{{{R}}^{\rm{T}}}{{l}}} \right)^{\rm{T}}}\left( {{{{P}}_{\rm{W}}} - \left( { - {{{R}}^{\rm{T}}}{{T}}} \right)} \right) $ (10)

结合式(7),可以用方向量 ${ n}={ R}^{\rm T}{ l} $ 和点 ${ q}_{\rm P}=-{ R}^{\rm T}{ T} $ 以及投影中心表示光平面。

2 叶片三维重建实验 2.1 结构光系统硬件选择

选择摄像机、投影仪、标定平面板、叶片组成结构光三维测量系统。先固定相机和投影仪的位置,旋转标定平面板,进行系统标定;然后由投影仪投射一定模式结构光到叶片上,同时用摄像机拍摄调制条纹图像;再经计算机图像处理获得经叶片调制图案上黑白条纹和投影图案黑白条纹的对应关系,求出光平面和投影光线方程;利用线面交点获得叶片表面点云数据。面结构光三维测量系统组成如图2所示。

图 2 面结构视觉系统组成

选择德国的Basler ace系列中的acA1920-155uc摄像机,配有Sony IMX174 CMOS感光芯片。相机镜头选择日本理光的FL-CC1214A-2M,2 000万像素,焦距为12 mm;本征分辨率为1 936×1 216。投影仪选择DLP VisionFly4500,该系统能够支持1 280×800 DMD,DMD微镜像素大小为7.56 μm,本证分辨率为912×1 140。标定平面板是因实验需要而设计的平面板,标定板的一边附着黑白相间的棋盘格,用于相机标定;另一边留出空白以便投影仪投影棋盘格,用于投影仪标定。

2.2 面结构光编码策略

因叶片结构复杂,为避免调制图片解码出错,选择具备抗干扰能力强、高可靠性、高稳定性等优点的格雷编码。格雷码的循环、反射特性大大减少随机取数时出现重大误差的可能,并且图像条纹求反非常方便[9]。黑白条纹的频率越高,叶片的反光问题越不明显[10];但频域越高,黑白条纹边界越模糊,边界检测越困难。综合投影仪的分辨率,选择投射10幅竖直黑白相间的条纹图案,同时为方便黑白条纹的边界检测,增加相应的取反的黑白条纹图案。实验选择投影格雷码如图3所示。格雷码是时间编码典型代表,投射图案随时间顺序依次投影到被测物体上[11]

图 3 投影仪投射的黑白条纹图案

2.3 系统标定

三角重构法中,光平面和摄像机光线的方程求解涉及到系统标定参数。要获得光平面方程和摄像机光线方程,应先完成系统标定。系统标定包括摄像机标定和投影仪标定。国内外学者提出许多摄像机标定方法,其中张正友平面标定方法[12]因具有较成熟的标定工具包、操作简单、定精度较高等特点,成为相机标定选择。

投影仪标定的基础是摄像机标定,投影仪常常被看作逆向摄像机。因投影仪不具备拍照能力,无法获得图像平面和三维空间坐标的对应关系。要想在摄像机基础上进行投影仪标定,需要投射棋盘格图像到标定板上;再由摄像机拍摄标定板图像;然后对拍摄图像进行处理,获得摄像机的内外参数,计算标定平面的方程;接着对拍摄投影图案棋盘格进行角点检测,获得投影图案的图像坐标。最后计算通过摄像机光心的射线方程,利用线面交点获得投影图像的三维坐标。获取投影图像上角点三维坐标的原理如图4所示。获得图像平面和三维空间坐标后就可以利用摄像机标定方法标定投影仪参数[13]

图 4 获得投影图像上角点三维坐标的原理

实验共采集15幅不同角度标定板图像,利用Bouguet工具箱扩展的摄像机-投影仪标定程序[14],分别完成摄像机标定和投影仪标定。投影仪标定结果如表1所示。

表 1 投影仪标定结果
内部参数
X轴方向上的有效焦距:fx=1 432.122 0
Y轴方向上的有效焦距:fy=1 744.274 9
${ \begin{array}{l} {\text{图像主坐标点:}}\left[ {\begin{array}{*{20}{c}} {u_{\rm{0}}^{\rm{1}}}&{u_{\rm{0}}^{\rm{2}}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {487.040\;0}&{1\;012.838\;9} \end{array}} \right]\\ \end{array}}$
倾斜因子:s=0
${ {\text{径向畸变系数:}}\left[ {\begin{array}{*{20}{c}} {{k_1}}&{{k_2}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {0.238\;3}&{ - 0.377\;1} \end{array}} \right]}$
外部参数
${\begin{array}{*{20}{c}} {\text{旋转矩阵:}}{R} = \left[ {\begin{array}{*{20}{c}} {0.967\;5}&{ - 6.232\;9{\rm{e}} - 4}&{0.252\;9}\\ {0.072\;8}&{0.958\;3}&{ - 0.276\;2}\\ { - 0.242\;2}&{0.285\;7}&{0.927\;2} \end{array}} \right]\end{array} }$
${\begin{array}{*{20}{c}} {{\text{平移矩阵:}}{T} = \left[ {\begin{array}{*{20}{c}} { - 198.786\;9}\\ { - 3.663\;3}\\ {34.809\;5} \end{array}} \right]} \end{array} }$

2.4 叶片点云重建

采用投影仪同步触发摄像机,拍摄20幅经叶片调制的图案,采集图案如图5所示。图片处理目的是获得投射黑白相间条纹图案和调制黑白条纹图案的对应关系;结合系统标定结果,求出光平面序列重构投影平面,然后利用线面交点获得叶片点云离散数据。

图 5 采集叶片调制图案

利用投影图案和相对应取反后的图案进行减法运算,检测黑白条纹的边界;然后对调制图像进行解格雷码并去除噪声点,根据获得的解码结构光序列恢复投影仪的列。结构光恢复投影图案的列如图6所示。

图 6 结构光序列恢复投影图案的列

经过图片处理后获得结构光的序列,就可以求得光平面的方程。根据线面交点的三角重构法获得叶片点云的离散点云数据[15],保存并显示点云数据结果。叶片重构点云效果如图7所示。

图 7 实验点云数据的显示

3 结束语

实现一个基于格雷编码面结构光的三维重建系统,根据现有的结构光技术,选择合理的标定方法和结构光编码策略以及重建算法用于该系统,获得了部分叶片表面点云数据。本研究不仅提高叶片检测速度,而且为后续叶片三维重构打下理论基础。实验过程中避免了叶片表面涂显影剂或者标定点,从叶片重建结果来看叶身点云数据重构效果十分理想,但部分结构的点云数据还存在缺失,针对这部分问题,下步计划设计高精度叶片转动平台,选择转换叶片的角度,通过多视角点云的拼接技术完成叶片表面的三维重建技术。

参考文献
[1]
张琼元, 杨功显, 赵代银. 大尺寸重型燃机叶片三坐标测量方法[J]. 东方汽轮机, 2016(3): 46-49.
[2]
达飞鹏, 盖绍彦. 光栅投影三维精密测量[M]. 北京: 科学出版社, 2011: 79-146.
[3]
刘永超. 发动机叶片型面测足的光栅投影法研究[D]. 北京: 北京邮电大学, 2013.
[4]
李华伟, 申作春, 覃银红, 等. 相位测量轮廓术应用于叶片测量[J]. 航空动力学报, 2012, 27(2): 275-281.
[5]
吴志新, 韩巍, 黄伟. 非接触式白光测量机在叶片检测中的研究与应用[J]. 航空制造技术, 2014(13): 48-51. DOI:10.3969/j.issn.1671-833X.2014.13.006
[6]
GUPTA M, AGRAWAL A, VEERARAGHAVAN A, et al. Structured light 3D scanning in the presence of global illumination[C]//IEEE Conference on Computer Vision & Pattern Recognition,2011.
[7]
陈俊宇, 殷鸣, 殷国富, 等. 燃机叶片型面的三维光学扫描检测方法研究[J]. 中国测试, 2015, 41(11): 7-11. DOI:10.11857/j.issn.1674-5124.2015.11.002
[8]
LANMAN D, TAUBIN G. Build Your Own 3D Scanner: 3D Photography for Beginners[C]//ACM,2009.
[9]
李正生, 马文彦, 闰杰. 格雷码的反码、补码与带符号格雷码的补码[J]. 微电子学与计算机, 2013, 30(5): 129-130.
[10]
GUPTA M , AGRAWAL A , VEERARAGHAVAN A , et al. Structured light 3D scanning in the presence of global illumination[C]//IEEE Conference on Computer Vision & Pattern Recognition,2011.
[11]
潘贝. 基于黑白编码结构光的快速三维重建方法研究[D].杭州: 浙江工业大学, 2011.
[12]
ZHANG Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. DOI:10.1109/34.888718
[13]
徐鸣华, 施天敏, 王颖, 等. 结构光测量系统的投影仪标定方法研究[J]. 测控技术, 2016, 35(1): 127-130. DOI:10.3969/j.issn.1000-8829.2016.01.032
[14]
CHANG W C, WU C H. Plane-based geometric calibration of a projector-camera reconstruction system[C]// 2014 10th France-Japan/8th Europe-Asia Congress on Mecatronics (MECATRONICS2014- Tokyo), 2014.
[15]
张东. 基于面结构光的物体表面三维重建方法研究与实现[D]. 武汉: 华中科技大学, 2011.