基于多线结构光投影的焊缝智能光电跟踪系统及测量方法[发明专利]

(12)发明专利申请

(10)申请公布号 CN 112440039 A(43)申请公布日 2021.03.05

(21)申请号 201910819941.0(22)申请日 2019.08.31

(71)申请人 南京理工大学

地址 210094 江苏省南京市玄武区孝陵卫

200号(72)发明人 宋旸　王睿尧　时梦洁　纪运景　

李振华　(74)专利代理机构 南京理工大学专利中心

32203

代理人 陈鹏(51)Int.Cl.

B23K 37/00(2006.01)B23K 37/02(2006.01)

权利要求书1页 说明书3页 附图4页

(54)发明名称

基于多线结构光投影的焊缝智能光电跟踪系统及测量方法(57)摘要

本发明公开了一种基于多线结构光投影的焊缝智能光电跟踪系统及测量方法，包括线激光器、光栅和工业相机，其中线激光器用于产生光源；光栅用于将单线结构光分成多线结构光；工业相机用于采集在仅有多线结构光照射情况下的焊缝图像；线激光器与工业相机位于同一垂直面上，光栅垂直于激光器光轴放置；激光倾斜入射，通过光栅分为多线结构光，工业相机用垂直采集的方式来扫描焊板。本发明适用于实时的焊缝轨迹检测，通过多线结构光投影不仅能跟踪焊缝的宽度，还能够重建焊接区域的三维表面形貌；结合卷积神经网络，能判断结构光焊缝图像的类别，提高处理的鲁棒性。

CN 112440039 ACN 112440039 A

权　利　要　求　书

1/1页

1.一种基于多线结构光投影的焊缝智能光电跟踪系统，其特征在于，包括线激光器、光栅和工业相机；其中线激光器用于产生光源，光栅用于将单线结构光分成多线结构光，工业相机用于采集在仅有多线结构光照射情况下的焊缝图像；所述的线激光器与工业相机位于同一垂直面上，光栅垂直于线激光器光轴放置。

2.根据权利要求1所述的基于多线结构光投影的焊缝智能光电跟踪系统，其特征在于，激光倾斜入射，通过光栅分为多线结构光，工业相机用垂直采集的方式扫描焊板。

3.一种基于权利要求1或2所述基于多线结构光投影的焊缝智能光电跟踪系统的测量方法，其特征在于，包括如下步骤：

步骤1，搭建焊缝智能光电跟踪系统：将线激光器与工业相机放置于同一竖直面，线激光器倾斜放置，工业相机垂直放置，并保持二者相对位置固定；光栅垂直于激光器光轴放置；

步骤2，采集各种类型焊缝的图像：在无自然光的条件下，线激光器产生单线结构光，经过光栅分为多线结构光后照射到带有焊缝的实验板上，与此同时工业相机采集多幅焊缝的图像，该图像即为测量图像；

步骤3，根据测量图像对焊缝进行分类和点识别：采集图片，搭建卷积神经网络对不同种类的焊缝进行分类，筛选出搭接型焊缝和对接型焊缝图像，求出它们的条纹中心以及焊缝点位置，用以跟踪焊缝的宽度和重建焊接区域的三维表面形貌。

4.根据权利要求3基于多线结构光投影的焊缝智能光电跟踪系统的测量方法，其特征在于，步骤3的具体方法为：

步骤3.1，通过CNN模型搭建卷积神经网络，将焊缝分为对接型、搭接型、无焊缝图像和无效图像；

步骤3.2，清洗其中无需处理的图像，即无效图像和无焊缝图像，并对数据集进行增广；步骤3.3，采用灰度重心法对对接型、搭接型的焊缝进行中心线提取，并计算出他们的焊缝点位置；

步骤3.4，计算对接型焊缝的焊缝中心点以及焊缝断面图，以跟踪焊缝的宽度；计算搭接型焊缝两边的高度差，用以重建焊接区域的三维表面形貌。

2

CN 112440039 A

说　明　书

1/3页

基于多线结构光投影的焊缝智能光电跟踪系统及测量方法

技术领域

[0001]本发明属于智能焊接技术领域，具体涉及一种基于多线结构光投影的焊缝智能光电跟踪系统及测量方法。

背景技术

[0002]在机械加工、汽车制造等国家支柱行业里，焊接是其零部件生产或者组装过程中必不可少的重要工艺之一，焊接过程的质量和效率直接决定着整个产品的质量和效率。随着传感技术和工业机器人技术的发展，以及制造业对焊接效率和焊接质量的要求提升和人性化工作环境的需要，工业使用机器人等相关智能技术借助机械臂完成了焊缝的自动跟踪过程。面对复杂的焊接任务，机器人的使用不仅减轻了工厂焊接专员的工作量，而且显著增加了焊接精细度，因此智能化焊接技术成为研究焦点。[0003]自动化、计算机等相关技术的发展正逐步使焊接过程智能化。目前，与传感技术结合的智能焊接机器人可以主动获取外界信息，这意味着焊接机器人可以完成对焊板参数的实时监测，以便实现焊接的自动调整。随着人工神经网络、模糊控制等技术理论的发展和应用，焊缝轨迹的传感技术和跟踪算法取得了更大的进展。现有的焊缝识别系统大多使用单线结构光，在此情况下相机虽然可以采集到焊缝的图像，但是获得的信息较少。发明内容

[0004]本发明的目的在于提供一种基于多线结构光投影的焊缝智能光电跟踪系统及测量方法，通过多线结构光投影不仅能跟踪焊缝的宽度，还能够重建焊接区域的三维表面形貌。

[0005]实现本发明目的的技术解决方案为：一种基于多线结构光投影的焊缝智能光电跟踪系统，包括线激光器、光栅和工业相机；其中线激光器用于产生光源，光栅用于将单线结构光分成多线结构光，工业相机用于采集在仅有多线结构光照射情况下的焊缝图像；所述的线激光器与工业相机位于同一垂直面上，光栅垂直于线激光器光轴放置。[0006]一种基于多线结构光投影的焊缝智能光电跟踪系统的测量方法，包括如下步骤：[0007]步骤1，搭建焊缝智能光电跟踪系统：将线激光器与工业相机放置于同一竖直面，线激光器倾斜放置，工业相机垂直放置，并保持二者相对位置固定；光栅垂直于激光器光轴放置；

[0008]步骤2，采集各种类型焊缝的图像：在无自然光的条件下，线激光器产生单线结构光，经过光栅分为多线结构光后照射到带有焊缝的实验板上，与此同时工业相机采集多幅焊缝的图像，该图像即为测量图像；[0009]步骤3，根据测量图像对焊缝进行分类和点识别：采集图片，搭建卷积神经网络对不同种类的焊缝进行分类，筛选出搭接型焊缝和对接型焊缝图像，求出它们的条纹中心以及焊缝点位置，用以跟踪焊缝的宽度和重建焊接区域的三维表面形貌。[0010]本发明与现有技术相比，其显著优点为：(1)本发明采用光栅将单线结构光分为多

3

CN 112440039 A

说　明　书

2/3页

线结构光，可以为后续跟踪焊缝提供更多的信息；(2)本发明采用卷积神经网络对采集到的图像进行分类并筛选需要处理的图像，提出通过添加BN层以及池化层来优化网络结构，并通过实验得到了最优网络模型，大大节约了时间；CNN可以共享卷积核，处理高维数据，同时它的特征分类效果也很好；(3)本发明通过点提取算法得到焊缝中心点的运动趋势，提高了测量精度。

附图说明

[0011]图1为本发明基于多线结构光投影的焊缝智能光电跟踪系统的结构示意图。[0012]图2为本发明的测量方法流程图。

[0013]图3为实施例中采集的各类焊缝的图像，其中(a)为对接型焊缝图像，(b)为搭接型焊缝图像，(c)为无焊缝图像，(d)为无效图像。

[0014]图4为实施例中得到的对接型焊缝断面图和搭接型焊缝中心线图像。

具体实施方式

[0015]如图1所示，一种基于多线结构光投影的焊缝智能光电跟踪系统，包括线激光器，光栅和工业相机，其中线激光器用于产生高准直性的光源；光栅用于将单线结构光分成多线结构光；工业相机用于采集在仅有多线结构光照射情况下的焊缝图像。所述的线激光器与工业相机位于同一垂直面上，光栅垂直于激光器光轴放置。[0016]激光倾斜入射，通过光栅分为多线结构光，工业相机用垂直采集的方式来扫描焊板。

[0017]如图2所示，基于多线结构光投影的焊缝智能光电跟踪系统的测量方法，包括如下步骤：

[0018]步骤1，搭建焊缝智能光电跟踪系统：将线激光器与工业相机放置于同一竖直面，线激光器倾斜放置，工业相机垂直放置，并保持二者相对位置固定；光栅垂直于激光器光轴放置；

[0019]步骤2，采集各种类型焊缝的图像：在无自然光的条件下，线激光器产生单线结构光，经过光栅分为多线结构光后照射到带有焊缝的实验板上，与此同时工业相机采集多幅焊缝的图像，该图像即为测量图像；[0020]步骤3，根据测量图像对焊缝进行分类和点识别：采集大量图片，搭建卷积神经网络对不同种类的焊缝进行分类，筛选出需要进一步处理的图像，再求出它们的条纹中心以及焊缝点位置，用以跟踪焊缝的宽度和重建焊接区域的三维表面形貌。[0021]进一步的，步骤3的具体方法为：[0022]步骤3.1：通过CNN模型搭建卷积神经网络，将焊缝分为对接型，搭接型，无焊缝图像和无效图像；[0023]步骤3.2：清洗其中无需处理的图像，并对数据集进行增广；[0024]步骤3.3：采用灰度重心法对前两种类型(对接型，搭接型)的焊缝进行中心线提取，并计算出他们的焊缝点位置；[0025]步骤3.4：计算对接型焊缝的焊缝中心点以及焊缝断面图，以跟踪焊缝的宽度；计算搭接型焊缝两边的高度差，用以重建焊接区域的三维表面形貌。

4

CN 112440039 A[0026]

说　明　书

3/3页

本发明适用于实时的焊缝轨迹检测，通过多线结构光投影不仅能跟踪焊缝的宽

度，还能够重建焊接区域的三维表面形貌。结合卷积神经网络，能判断结构光焊缝图像的类别，提高处理的鲁棒性。

[0027]下面结合实施例对本发明进行详细说明。[0028]实施例

[0029]按照图1方式，搭建基于多线结构光投影的焊缝智能光电跟踪系统，在实验台上放置线激光器1，光栅和工业相机3，线激光器1与工业相机3位于同一垂直面上，光栅垂直于激光器光轴放置。系统中线激光器1与工业相机3的夹角为45°，相机载物台的距离ZA＝200mm。在没有第三方光源的黑暗环境下进行测量。图3为相机中采集的各类焊缝的图像，接下来利用CNN模型搭建卷积神经网络，通过大量图片的训练将采集到的图像分为对接型焊缝图像、搭接型焊缝图像、无焊缝图像以及无效图像。[0030]在实施例中，选取多线结构光条纹中的一套，使用灰度重心法对分类出来的对接型焊缝和搭接型焊缝进行中心线提取，并计算对接型焊缝的焊缝中心点以及焊缝断面图，得到图4所示的对接型焊缝断面图和搭接型焊缝中心线图像，实验结果与我们的实验焊缝板的裂缝趋势基本一致，接下来通过相机标定等步骤来跟踪焊缝的宽度和重建焊接区域的三维表面形貌。

5

CN 112440039 A

说　明　书　附　图

1/4页

图1

6

CN 112440039 A

说　明　书　附　图

2/4页

图2

7

CN 112440039 A

说　明　书　附　图

3/4页

图3

8

CN 112440039 A

说　明　书　附　图

4/4页

图4

9