移动机器人基于三维激光测距与单目视觉的室内场景认知

硕士学位论文

移动机器人基于三维激光测距与单目视觉的室

内场景认知

The Mobile Robot Indoor Scene Cognition Using 3D Laser

Scanning and Monocular Vision

大连理工大学

Dalian University of Technology

大连理工大学学位论文独创性声明

作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外，本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了谢意。

若有不实之处，本人愿意承担相关法律责任。

学位论文题目：移动机器人基于三维激光测距和单目视觉的室内场景认知作者签名：日期：年月日

大连理工大学硕士学位论文

摘要

机器人在工作中需要实时获取环境信息，而如何实现对这些环境信息的有效理解和认知是实现其自主环境适应的关键。激光传感器具有抗干扰能力强、受光线影响小等特点，适于三维空间几何信息的获取。而视觉传感器是一种获取图像信息的成熟手段。本文以激光测距仪和单目视觉作为移动机器人的外部传感器，研究移动机器人在室内三维环境中的场景认知问题。

在室内环境中，地面、墙壁等室内场景的框架具有结构化的特性，可以使用简单的平面等几何特征来表示。平面特征的提取可以借助激光数据的存储顺序首先从中提取出线段特征，然后利用相邻线段的关系将其合并从而得到完整的平面区域。本文使用了一种基于区域扩张的平面特征提取算法，从室内场景的激光数据中提取出平面特征。利用平面特征的自身属性及其相互间的空间关系，完成室内场景框架的认知。在剔除室内场景框架之后，剩余数据中物体的形状具有不确定性和不规则性，难以使用简单的几何特征来描述。本文提出一种基于点云连续性的物体分割算法，实现室内场景中物体的有效分割。

Markov随机场是一种普遍应用于图像处理和计算机视觉领域的理论。本文利用室内场景框架及物体之间的邻域关系，将已完成认知的场景框架元素及分割后的物体作为Markov随机场的结点，提出了一种基于MAP-MRF体系的场景室内物体认知算法。物体结点特征的选择和设计是实现物体有效认知的关键和难点。本文使用物体的高度信息作为区分物体的基本特征。为了更准确的描述物体，本文提出了一种描述物体形状的形状直方图，有效的表达了物体的三维信息。三维激光数据虽然精确地表达了物体结点的空间信息，但却缺乏基本的图像和颜色信息。为了准确的使用摄像头获取的图像信息，本文将单目视觉与激光测距数据在像素级进行准确融合。本文在HSI颜色空间下，统计物体点云的颜色分布并构建物体的颜色直方图，将物体的颜色信息用于物体结点的认知。移动机器人基于场景框架与物体的认知结果可实现室内语义地图的构建。利用实际机器人平台所获得的实验结果验证了所提方法的有效性。

关键词：三维激光测距，数据融合，MAP-MRF，场景认知，语义地图

移动机器人基于三维激光测距和单目视觉的室内场景认知

The Mobile Robot Indoor Scene Cognition Using 3D Laser Scanning and

Monocular Vision

Abstract

Mobile robot need to acquire environment information in real time during its movement, so how to implement effective understanding and cognition about the environment information is of great importance. Laser range finder is extensively used to acquire 3D information from environment for its high abilities of prevent interference and low influence of light. Additionally，camera has mature application in image acquisition. This paper takes laser range finder and camera as robot visual system and studies the indoor environment cognition problem for mobile robot.

For the structure of indoor environment is structural, it can be represented by simple geometry feature. Line features can be extracted from the laser data by its storage order, and then neighbor lines are combined to get plane features. In our work, planes are extracted from 3D laser data using regional expansion algorithm, and the properties as well as the relationship of these planes are used for structure cognition. When the structure of the indoor scene is removed, the shapes of the objects in the remaining data are uncertain and rregular so it is hard to represent by simple geometry feature. We propose an object segment algorithm based on the continuity of the points, to implement effective segmentation of the objects in the indoor scene.

Markov Random Filed theory is widely used in image processing and computer vision. According to the relations of the neighbored structures and objects of the scene, this paper takes the structure elements and segmented objects as the MRF nodes and propose an indoor scene object segment algorithm base on MAP-MRF. The selection and design of the object nodes is essential for the effective cognition of the objects. This paper takes height as the basic feature for the object. To describe the object more accurately, we propose a shape histogram to represent the 3D shape of the object. Although 3D laser data describe the 3D information, it lacks image and color information. To utilize the image from camera precisely, we fuse the information of 3D laser scanner and monocular vision in pixel level. Under HSI color space, we build color histogram of the object by computing the color distribution of the object points. As the result of scene cognition, the semantic map can be constructed by mobile robot autonomously. Experiment results implemented on real mobile robot platform show the validity of the proposed method.

Key Words：3D laser scanning, data fusion, MAP-MRF, scene cognition, semantic map

- II -

大连理工大学硕士学位论文

目录

摘要............................................................................................................................. I Abstract ............................................................................................................................. II 1 绪论.. (1)

1.1 研究背景与意义 (1)

1.2 室内场景认知的现状与发展趋势 (2)

1.3 本文的主要工作及创新点 (3)

1.3.1 本文的主要工作 (3)

1.3.2 本文的主要创新点 (4)

2 三维环境信息的获取及数据处理 (6)

2.1 三维激光数据的获取 (6)

2.1.1 激光测距仪 (6)

2.1.2 三维激光测距原理 (7)

2.2 单目视觉与三维激光数据的融合 (8)

2.3 数据处理 (11)

3 室内场景框架的认知和室内物体分割 (14)

3.1 平面特征的提取 (14)

3.1.1 基于线段合并的平面特征提取 (14)

3.1.2 基于区域扩张的平面特征提取 (17)

3.2 室内场景框架的认知 (20)

3.3 室内场景物体的分割 (23)

4 基于Markov随机场的室内场景认知 (26)

4.1 Markov随机场理论 (26)

4.1.1 Markov随机场概念 (27)

4.1.2 MAP-MRF体系 (28)

4.2 物体结点的特征选择 (29)

4.2.1物体的高度特征 (30)

4.2.2物体的颜色特征 (31)

4.2.3物体的形状特征 (35)

4.3 基于MAP-MRF的室内场景认知 (37)

4.3.1 基于MAP-MRF的室内场景认知过程 (37)

4.3.2室内场景认知实验结果 (40)

移动机器人基于三维激光测距和单目视觉的室内场景认知

4.3.3基于场景认知的室内语义地图构建 (42)

结论 (44)

参考文献 (46)

攻读硕士学位期间发表学术论文情况 (49)

课题资助情况 (49)

致谢 (50)

大连理工大学学位论文版权使用授权书 (51)

- IV -

大连理工大学硕士学位论文

1 绪论

1.1 研究背景与意义

随着人类计算机科学和科技的进步，机器人的技术的发展日趋成熟。机器人的应用涉及到工业、农业、救援和军事等等领域[1]。移动智能机器人相对于工业机器人来说，可以融合当今先进的人工智能技术，能够完成复杂的自主运动、路径规划等行为，有着更广阔的应用场景。与一般机器人相比，移动机器人具有移动功能，在危险、恶劣、辐射和有毒的环境以及人类所不及的宇宙、水下环境中，它可以代替人进行操作，具有很大的灵活性、机动性。近年来，美国等发达国家已经将移动机器人应用于扫雷等军事领域。在地震发生后的后续救援中，移动机器人可以代替人直接进入现场，完成移动、定位、目标搜索、救援等行动，保证了救援人员的人身安全。移动机器人涉及的基本技术有传感器、控制和人工智能等方面。本文使用的机器人侧重于人工智能，机器人的运动主要基于其对环境自主的理解。

图1.1 两种具有不同运动机构的移动机器人

Fig. 1.1 Two mobile robots with different movement mechanism

移动机器人自主的运动，需要获取其前方环境的信息，所以它离不开视觉系统的支持。激光传感器和摄像头都可以作为机器人的视觉系统。在当今的科学领域中，激光传感器的测距技术逐渐成熟。相对于红外，超声等传感器，激光测距具有精度高，受环境干扰小等优点。激光测距的基本原理是发射激光脉冲并回收，利用之间的时间差计算传感器与目标点的距离。将激光安装在可旋转的云台上，利用云台及激光的一些硬件参数标定，可以将测得的距离转化成三维的激光坐标。将多组激光数据按照一定顺序存储，即得到了被扫描环境的三维数据。使用普通的数码相机获得的图像是按照行列存储的像

移动机器人基于三维激光测距和单目视觉的室内场景认知

素，激光测距系统获取的数据存储于图像类似。不同的是在每一个激光点存储的不是像素，而是一个三维的坐标。

相对于激光传感器，单目视觉是另一个可以作为移动机器人视觉的方案。视觉是人类与世界沟通的最重要手段，人类获取的信息中大部分都来自眼睛获取的视觉信息。随着传感器以及计算机科学的进步，使用摄像机可以实现人类的部分视觉模拟。借助于计算机数字技术，摄像机获取的输入转化为数字信号，并可以在计算机内部进行分析、处理、辨识和识别，使得移动机器人能够对视觉信息进行理解并做出相应的决策。由此也形成了一门独立的科学，即计算机视觉。借助于环境的视觉图像信息，移动机器人可以实现对场景一定程度上的认知。

对于一幅场景的激光数据，激光点的个数往往数以万计。虽然这在很大程度上高精度的表达了场景的表面信息，但是这在计算机中将占据很大空间，使用起来也会对计算机的性能要求苛刻。另一方面，移动机器人对于离散的激光点云数据是无法理解的。正是因为这些原因，激光点的精简，激光数据中几何特征的提取，以及基于激光数据的场景认知在这个领域中显得十分重要。

在移动机器人领域，激光传感器充当了机器人的视觉系统。安装在移动机器人上的激光传感器对周围环境的有效观测和检测是实现其自主控制和路径规划的基础。移动机器人不仅要获取周围环境的原始激光数据，还要能够对这些数据进行进一步辨识和认知，以实现其对环境更高层次的理解。在室内搜索和救援的任务中，机器人需要实时的判别前方的路况是否满足行进的要求，并且能够有效地躲避障碍物准确的到达目标。另外，机器人还要能够识别搜寻目标，并规划出到达目标的路径。这些行为对机器人“大脑”，即软件算法的支持提出了很高的要求。本文正是研究了激光数据的认知和辨识算法，来支持移动机器人的环境认知及运动规划。

1.2 室内场景认知的现状与发展趋势

如何实现针对场景中物体的有效分类与识别是移动机器人场景认知的核心问题。环境认知的基础是特征提取。根据三维激光数据行列的存储方式，可以从中提取出最简单的直线特征，如文献[2]。由于场景中的一些物体如室外的地面，室内的墙壁包含平面特征，这些物体表面的激光数据中将会提取出许多直线特征。利用这些直线特征的近邻平行关系，可以将这些直线进行合并，这样最终会扩张出平面特征。这也是文献[2]中，提取激光数据中简单的平面几何特征的一种方法。另外一种广泛使用的提取平面的方法是，首先拟合局部邻域的一个平面片段，然后将这些平面片段进行合并生长，最终得到

- 2 -

大连理工大学硕士学位论文

完整的平面特征，如文献[3]。RANSAC(Random Sample Consensus)算法[4]也是一种常用的拟合平面的方法[5]。

基于视觉图像处理技术来进行场景的认知是该领域的重要方法[6][7][8]。基于图像处理的物体识别与场景认知算法有很多种，但其通常计算复杂度高，难于满足移动机器人对实时性能的较高要求。此外图像处理算法受光线变化影响较大，特别是在光线较暗的场景更难以应用。与视觉传感器相比，三维激光测距具有精度较高且不受光线影响等特点，因而近些年引起国内外很多学者的关注，并开展了一系列的相关研究。其中A. Nüchter和J. Hertzberg等学者将获取的三维激光数据转化为二维图像，并使用支持向量机从这些二维图片中训练并识别出物体[9]，但该方法训练过程较为繁琐。M. Himmelsbach 等学者利用栅格的思想分割物体，然后在原始激光数据上提取特征，并使用SVM分类器对物体进行分类[10]。

D. Anguelov等人完整的描述了一种基于Markov随机场的物体分类方法[11]。该方法将整幅场景视为一个Markov随机场，每一个激光点视为一个结点，在激光点上提取特征。相比较，论文[12]中虽然也采用Markov随机场模型来对物体进行认知，但是该方法首先利用激光点的邻居关系从激光数据中提取多边形集，然后以此作为结点进行物体的分类处理。激光测距数据虽然提供了丰富的场景三维空间量测信息，但也存在着环境信息单一的不足。考虑视觉传感器能够提供丰富的色彩信息，因而将三维激光与视觉信息进行有效融合，可实现两种传感器的优势互补，能够有效提高移动机器人进行三维场景认知的能力。例如B. Douillard等学者就将激光和摄像头的获取的视觉信息融合在一起，利用多种传感器信息来实现场景中物体的有效识别[13]。

1.3 本文的主要工作及创新点

1.3.1 本文的主要工作

本文工作属于国家863项目课题“基于多传感器的野外环境实时建模与自主控制”和国家重点实验室研究课题“废墟搜救机器人三维废墟环境自主建模与重构研究”的一个部分。使用美国先锋公司的Pioneer3-DX移动机器人为平台，本文实现了移动机器人基于三维激光测距和单目视觉的室内场景认知。

借鉴上述研究工作，本文提出了一种基于三维激光和单目视觉的室内场景认知新方法。室内场景一般可视为封闭的三维空间，并且由室内场景框架（包括墙壁、天花板、地面等框架元素）和各种不同形状物体构成。室内场景框架属于结构化环境，因此可以使用平面几何特征来表述。本文所提出的场景框架认知算法，首先利用区域扩张算法从三维激光数据中提取出平面特征，再利用平面特征的法向量和重心等属性及其空间关系

移动机器人基于三维激光测距和单目视觉的室内场景认知

将其分类，从而完成室内框架的认知。利用物体表面点云的连续性特点，提出一种物体分割算法，从室内框架认知剩余的激光数据中分割出相互独立的物体。本文将室内场景的框架信息(如墙体，地面等)和分割得到的物体视为结点。由于物体结点和框架信息结点之间具有邻域的关系，可以把这些结点看作是一个Markov随机场。于是物体的认知问题可以转化为Markov随机场中结点的语义标记问题。由于已完成认知的框架结点可作为已知信息，因此这里只需要考虑物体结点的认知标记。本文提出了一种基于MAP-MRF体系的物体识别方法。作为识别的依据，物体结点特征的选择十分关键。本文不仅使用了物体的空间度量特征，而且还使用了与物体对应的视觉信息，构建了物体颜色的直方图，有效地提高了物体识别的准确性。通过对室内场景框架信息以及室内物体有效认知，可以构建室内环境的语义地图，这将有效地提高移动机器人与环境的交互能力。

本文的主要内容及章节安排如下：

第一章，绪论。主要讲述了本文的背景，室内场景认知的意义，以及室内场景认知的国内外现状和未来的发展趋势。

第二章，三维环境信息的获取和数据处理。主要讲述了激光测距仪获取环境三维激光数据的原理，使用摄像头获取图像信息的原理以及单目视觉与三维激光数据的融合。并且简述了激光与图像信息数据处理的上位机软件平台的构造，及软件系统与移动机器人的通讯等等。

第三章，室内场景框架的认知和室内物体的分割。首先讲述了平面特征的两种提取方法，然后介绍了基于平面特征的室内场景框架的认知。然后进一步介绍了一种基于点云连续性的物体分割方法。

第四章，基于Markov随机场的室内场景认知。这是本文的重点章节。首先介绍了Markov随机场的基本原理和MAP-MRF体系的推导过程。其次介绍了Markov随机场中物体结点的特征选择。最后着重讨论了基于MAP-MRF体系的室内场景认知和基于认知结果的室内语义地图构建。

最后是结论部分。对本文室内场景认知的方法进行了总结和分析，并对今后的工作方向进行了展望。

1.3.2 本文的主要创新点

国内外移动机器人领域涉及场景认知的方法有多种，针对室内环境的特点，本文将室内场景的认知分为室内框架和物体两个部分分别进行处理，主要创新点包含以下几个方面：

- 4 -

大连理工大学硕士学位论文

（1）在室内场景框架完成认知以后，针对剩余数据中物体点云的特点，提出了一种基于物体点云连续性的物体分割算法，有效地完成了室内物体的分割。为了实现物体结点的有效识别，根据室内物体的特点，提出了一种描述三维物体形状的形状直方图，用于表达物体的三维空间特征。虽然三维激光数据精确的表达了场景的空间信息，但是缺乏图像等信息的支持。本文将三维激光和单目视觉在像素级别实现准确的融合，将场景的图像信息用于室内物体的认知。

（2）本文将Markov随机场理论成功的应用于室内场景的认知中。对于Markov随机场中结点的选择，以激光点为结点往往可提取的特征有限，且分类的结果区域界限不明显。本文首先实现室内场景框架元素和物体的分割，然后将他们作为Markov随机场的结点，大大增加了可提取的特征，物体认知的效果也有了很大改进。在完成室内物体的认知以后，本文提出一种置信度的方法，用于表示物体认知的程度。置信度的数值越高，则表示物体认知的结果越准确，认知的结果可信度越高。这可以有效的帮助机器人根据不同的置信度对不同的物体做出不同的决策。

移动机器人基于三维激光测距和单目视觉的室内场景认知

- 6 -

2 三维环境信息的获取及数据处理

本文移动机器人认知系统的框架图如图2.1所示。首先，激光传感器可以获取场景的三维激光数据。由于获取的数据仅仅是一个距离值，这需要通过硬件标定的方法将其转化成三维空间坐标，这个将在后面讲到。另外激光数据采集的过程中会产生失败的数据，比如发射的脉冲信号没有得到回收，这样的噪声数据需要使用程序对他们进行过滤，比如将他们统一转化成原点坐标。与此同时，安装在激光上面的摄像头可以获取当前场景的视觉图像，使用摄像头和激光标定的方法，可以确定图像和激光数据的位置关系，实现图像和激光数据的融合。在本文中，融合有图像信息的激光数据即是实现室内场景认知的数据源。

图2.1 系统框架图

Fig. 2.1 The system framework

激光和图像信息的获取是本文的基础，本章节将简要介绍三维激光测距的原理，激光的标定，以及视觉图像的获取和摄像头的标定等等。

2.1 三维激光数据的获取

2.1.1 激光测距仪

激光测距仪具有高精度，高解析度的特点。其原理是它首先发射一束红外激光束脉冲，如果遇到物体则返回，并被激光测距仪的接收器所记录。由于激光测距仪与物体的

大连理工大学硕士学位论文

距离和脉冲运行的时间成正比，可以通过计算时间的方法求出物体与激光测距仪之间的距离。为了使得激光测距仪的扫描范围增大，激光测距仪的内部安装了一个旋转光镜，旋转光镜的偏转使得周围环境形成了一个扇形的扫描区域。仅仅一个激光测距仪在不借助电机的情况下扫描的结果为一条二维的轮廓线，如如图2.2右图所示。

图2.2 激光测距仪工作原理

Fig. 2.2 The principles of laser scanning

本文使用的激光测距仪为德国SICK 公司生产的LMS 291。LMS 可以对物体进行独立的非接触的精确位置测量，在工业现场和科学研究中有广泛的应用。固定静止的LMS291传感器可以在二维的范围内进行扫描，扫描的范围是180°，因此它是一个二维传感器(如图2.2右所示)。最大测量的距离可以设置为8m/32m/80m 。角度和距离的分辨率可以达到0.5°/1°（对应的激光点扫描个数为361/181）和10mm 。扫描的周期为13.3ms 。传感器获取的距离数据可以用极坐标的形式表示：

(,),1,...,T n n n u n N ρθ== （2.1）

其中，N 代表扫描激光点的个数。LMS 系统获取的激光数据对光线并不敏感，因为它使用二值化的方法可以处理反射光的大小强度，这有效的减小了反射光强度不均带来的影响。对该系统能造成影响的主要是被测物体的材料以及表面光滑度等因素。激光传感器获取的激光数据通过高速的串行接口传送给上位机电脑进行处理，上位机同样也可以发送控制指令实现对激光传感器的实时控制。

2.1.2 三维激光测距原理

虽然单纯的激光测距仪仅仅能实现二维数据扫描，但是如果安装一个旋转方向与激光扫描方向垂直的电机，则可以实现对环境的三维扫描。本文使用LMS291激光传感器

移动机器人基于三维激光测距和单目视觉的室内场景认知

- 8 -

和安装有步进电机的旋转云台共同组成一个三维激光数据的采集系统（如图2.3左图）。

图2.3 3D 激光测距系统（左）和坐标关系示意图（右）

Fig. 2.3 3D laser ranging system (left) and the relationship of parameter coordinates

如图2.3左图所示，本系统中激光传感器的二维扫描数据线是沿着竖直方向的。电机控制传感器沿着水平方面旋转，旋转的范围是任意的，所以它可以获取360°的三维全景激光数据。由激光测距仪获取的数据为极坐标形式的，为了计算方便，需要转换到直角坐标系下(如图2.3右图)，转换的公式如下：

sin cos cos sin sin 00cos cos sin cos x c y b z a c ?θ

??ρθ?θ??=+--????????????????????????????????????

(2.1) 其中，c 为电机旋转中心到激光束发射中心投影到水平面上的距离，10c mm ≈；ε为LMS 激光扫描平面与两中心点所在直线的夹角，4ε≈ 。ρ为激光发射中心到测得物体的距离；θ为激光束在扫描平面上的偏向角度；?为电控旋转台旋转的角度。将激光数据按照扫描顺序保存到二维容器中：

(,)(,,),0,...,1,0,...,1P i j x y z i M j N ==-=- (2.2)

其中(,)P i j 表示第i 行、第j 列个激光点。(,,)x y z 表示激光点的空间坐标值。M 表示电机旋转方向激光行数，N 表示每一行激光扫描的激光点的个数。

2.2 单目视觉与三维激光数据的融合

通过激光测距仪获取三维场景信息有其自身的不足，它能准确获取场景的距离信息

大连理工大学硕士学位论文

但无法得到场景的颜色信息。摄像头可以获取场景的视觉信息，弥补了这一缺陷。摄像头可以分为模拟和数字两种，现在人们使用的大多数是数字式的摄像头。摄像头工作的基本原理是：场景通过镜头生成光学图像并投影到图像传感器的表面，由此转换成电信号，经过模数转换器转换为数字图像信号，即可获取现实场景的数字图像。将数字图像传输到计算机上，可以实现图像的处理等操作。

本文使用的是FlyCapture 单目摄像头(如图2.4所示)。其图像可选为1600×1200，1024×768，800×600，320×240，160×120等。采集图像格式为可选：RGB, BGR, YUV422, YUV444等。摄像头采集速率可选：60fps, 30fps, 15fps, 7.5fps, 3.75fps, 1.875 fps。本文选用1024×768RGB图像，采集速率为1.875fps。

图2.4 FlyCapture 摄像头

Fig. 2.4 FlyCapture Camera

为了弥补三维激光信息的不足，这里对激光信息和图像信息进行融合。本文通过对摄像头和三维激光测距仪的标定完成激光场景染色以实现两传感器的像素级信息融合。标定过程分为两步：摄像机内标定和摄像机激光外标定。内标定获取摄像机内参数以确定摄像机坐标到图像坐标的转换对应关系，使用小孔成像模型作为摄像机的投影模型(如图2.5所示)，它是被普遍采用的视觉成像的一个理想模型[14]。

图2.5 针孔摄像机模型

Fig. 2.5 Pinhole camera model

移动机器人基于三维激光测距和单目视觉的室内场景认知

- 10 -

外标定用来确定摄像机和激光测距仪之间，也就是摄像机坐标和世界坐标之间的转换对应关系。通过内外参数的标定，最终确立激光测距仪获取到得激光点云和摄像机获取到得图像间的对应关系。然后将颜色信息投射到激光点云上，完成激光点的染色。图像和摄像机坐标间的对应关系转换为公式(2.3)，其中矩阵A 包含了摄像机全部的6个内参数00(,,,,,)k l u v f θ,称A 为摄像机内参数矩阵。内参数是由摄像机本身结构决定的，但这些参数可能会随着温度、湿度、气压等环境因素的变化而改变，因此本文使用张正友提出的方法[15]进行摄像机内参标定。

000010cot 0cot 0011110

00000sin sin 10010010001011c c c c c c c c c c f f u u X X f f k k k u Y Y f f v v v AP Z Z Z l Z l Z θθθθ????- ? ?????-???? ? ? ? ? ? ? ? ? ? ? ?=== ? ? ? ? ? ? ? ? ? ? ? ????? ? ????? ? ?????

(2.3) 摄像机内标定完成后，就可以确定摄像机坐标系到图像坐标系的转换对应关系。为了进一步确定激光测距仪所在的世界坐标系同摄像机坐标系的对应关系，还需要进一步对摄像机和三维激光测距仪进行外标定，求出旋转矩阵R 和平移矩阵T 。

33310111c w c w T c w X X Y R t Y Z Z ?????? ? ??? ? ?= ? ? ??? ? ?????

(2.4) 在已知内参数的前提下，可以使用多种标定的方法求取外参数。本文采用手动点选的方式获取图像和激光数据间的对应点对，然后采用最大似然估计的方法来优化计算R 和T 。有了旋转平移矩阵，摄像头获取的图像可以准确的匹配到场景的激光数据中，实现激光与视觉的融合，即激光点云的染色。如图2.6所示为一幅室内场景和室外场景的激光数据染色效果：

大连理工大学硕士学位论文

图2.6 室内点云数据染色效果(左)，与室外点云数据染色效果(右)

Fig. 2.6 Colored 3D laser of indoor scene and outdoor scene

2.3 数据处理

移动机器人的控制，离不开软件的支持。为了实现对移动机器人发送控制指令和通讯，实现场景的可视化与人机交互，以及三维激光数据的预处理和认知，研究小组开发了移动机器人基于windows操作系统的软件系统。本软件的环境为visual studio 2005，使用了MFC框架，使用的编程语言为面向对象的C++。如图2.7所示，软件的主要模块为移动机器人硬件通讯模块，室内场景认知模块和三维场景显示与人机交互模块等等。

图2.7 系统模块

Fig.2.3 Modules of software system

移动机器人基于三维激光测距和单目视觉的室内场景认知

- 12 -

硬件通讯模块负责上位机与移动机器人传感器之间传输激光和图像数据。另外移动机器人的控制信号通过软件界面按钮触发，并通过通讯模块发送给机器人。主要的控制信号有激光扫描控制信号，电机旋转控制信号，摄像头传输信号。数据融合模块涉及激光数据与图像的标定，以及激光数据的染色。融合后的数据是室内场景认知的数据源。室内场景认知模块是本软件的核心模块，主要实现室内场景的认知。三维场景显示与人机交互模块主要是实现程序结果及中间过程的可视化以及对移动机器人的控制提供操作界面。

显示模块中主要利用了OpenGL 开发库，来处理三维数据的显示。OpenGL 全称是Open Graphics Library ，它是一个跨编程语言、跨平台的3D 图形程序接口。OpenGL 是一个与硬件无关的软件接口，可以在不同的平台之间进行移植。所以OpenGL 具有很好的可移植性，可以获得广泛的使用。OpenGL 具有的几大功能有：建模、变换、颜色模式设置、光照材质设置、纹理映射等等。OpenGL 是一个开放的三维图形软件包，他可以与visual C++紧密的连在一起，实现本文中三维激光数据的计算和显示等功能。本软件分为在线和离线两种模式，在线状态下可以采集数据并处理，同时获取的数据可以保存在文件中。离线状态下，可以加载激光数据实现数据的离线处理，这些功能在文件存储模块中实现。

图2.8 实验中所使用的移动机器人平台（左图）；环境认知软件（右图）

Fig.2.8 Mobile robot in experiment (left), software for environment cognition(right)

如图2.8所示，左图为实验中使用的移动机器人平台，右图为本文使用的软件系统界面。软件界面中显示的是一幅室内全景的染色激光数据。在右侧的对话栏中，上半部分是与移动机器人的进行通讯的操作接口，包括激光和电机串口的选择，连接，以及激

大连理工大学硕士学位论文

光扫描的各种参数等。下半部分窗口是摄像头获取视频的实时显示窗口，底部按钮可以对视频进行操作，包括截图，标定和对激光数据染色等功能。另外，经过切换，右侧对话栏可以显示点选的激光点坐标，并且可以实现和显示两点之间的测距等功能。顶部菜单系统中可以导入或保存激光数据，程序退出等功能。视图菜单用于切换显示和隐藏工具栏，对话栏，并且切换不同的激光数据场景等。视觉染色用于激光数据和图像的融合。场景重构菜单中为三维激光数据的重构的触发按钮，包括栅格划分，路径规划，构建高程图，特征提取和室内场景认知等。训练按钮为后面将要介绍的室内物体分类参数的训练触发按钮。帮助菜单为程序使用的文档介绍。

移动机器人基于三维激光测距和单目视觉的室内场景认知

- 14 -

3 室内场景框架的认知和室内物体分割

3.1 平面特征的提取

平面特征的提取是室内框架信息提取的基础。许多文献都涉及到了平面特征的提取。文献[2]中提到了一种从激光数据中首先提取线段特征，然后由线段特诊合并得到平面特征的方法。一种比较普遍的方法是，首先选取一个初始邻域平面，然后将周围相邻的邻域平面不断的迭代合并，得到完整的平面特征。另外一个著名的平面提取算法是RANSAC 算法，RANSAC 首先随机选取N 个点，根据它们来估计一个平面的参数。然后计算满足该平面参数的点并归属到其中，以此来不断的扩张平面。因为篇幅限制，本文主要介绍两种提取平面的方法，一种是[2]中提到的基于线段合并的平面提取方法，另一种是[3]中涉及的基于区域扩张的平面提取方法。

3.1.1 基于线段合并的平面特征提取

由本文第2章可以得知，三维激光数据是以行列的方式存储的，每组激光数据有M×N 个激光点。激光传感器每次扫描获取的激光点个数为361。图3.1为激光传感器完后曾一次扫描的数据。从全局看，这一组扫描由若干条线段构成，具有简单的线段几何特征。但是通过局部放大(图3.1右)可以看出，激光点的分布是混乱和不完全规则的。

图3.1 一次扫描的激光点(左)以及放大后的点云分布(右)

Fig. 3.1 Laser points on one scan line(left) and enlarged points’ distributing(right)

为了从每一组扫描的激光数据中提取出线段特征，线段提取算法需要有对一定噪声的适应性。本文采用了将一组激光数据分段处理的线段特征检测的方法，如图3.2所示。

移动机器人导航技术总结

移动机器人的关键技术分为以下三种: (1)导航技术 导航技术是移动机器人的一项核心技术之一[3,4]"它是指移动机器人通过传感器感知环境信息和自身状态,实现在有障碍的环境中面向目标的自主运动"目前,移动机器人主要的导航方式包括:磁导航,惯性导航,视觉导航等"其中,视觉导航15一7]通过摄像头对障碍物和路标信息拍摄,获取图像信息,然后对图像信息进行探测和识别实现导航"它具有信号探测范围广,获取信息完整等优点,是移动机器人导航的一个主要发展方向,而基于非结构化环境视觉导航是移动机器人导航的研究重点。 (2)多传感器信息融合技术多传感器信息融合技术是移动机器人的关键技术之一,其研究始于20世纪80年代18,9]"信息融合是指将多个传感器所提供的环境信息进行集成处理,形成对外部环境的统一表示"它融合了信息的互补性,信息的冗余性,信息的实时性和信息的低成本性"因而能比较完整地,精确地反映环境特征,从而做出正确的判断和决策,保证了机器人系统快速性,准确性和稳定性"目前移动机器人的多传感器融合技术的研究方法主要有:加权平均法,卡尔曼滤波,贝叶斯估计,D-S证据理论推理,产生规则,模糊逻辑,人工神经网络等"例如文献[10]介绍了名为Xavier的机器人,在机器人上装有多种传感器,如激光探测器!声纳、车轮编码器和彩色摄像机等,该机器人具有很高的自主导航能力。 (3)机器人控制器作为机器人的核心部分,机器人控制器是影响机器人性能的关键部分之一"目前,国内外机器人小车的控制系统的核心处理器,己经由MCS-51、80C196等8位、16位微控制器为主,逐渐演变为DSP、高性能32位微控制器为核心构成"由于模块化系统具有良好的前景,开发具有开放式结构的模块化、标准化机器人控制器也成为当前机器人控制器的一个研究热点"近几年,日本!美国和欧洲一些国家都在开发具有开放式结构的机器人控制器,如日本安川公司基于PC开发的具有开放式结构!网络功能的机器人控制器"我国863计划智能机器人主题也已对这方面的研究立项 视觉导航技术分类 机器人视觉被认为是机器人重要的感觉能力，机器人视觉系统正如人的眼睛一样,是机器人感知局部环境的重要“器官”,同时依此感知的环境信息实现对机器人的导航。机器人视觉信息主要指二维彩色CCD摄像机信息,在有些系统中还包括三维激光雷达采集的信息。视觉信息能否正确、实时地处理直接关系到机器人行驶速度、路径跟踪以及对障碍物的避碰,对系统的实时性和鲁棒性具有决定性的作用。视觉信息处理技术是移动机器人研究中最为关键的技术之一。

移动机器人视觉导航

移动机器人视觉导航。 0504311 19 刘天庆一、引言 智能自主移动机器人系统能够通过传感器感知外界环境和自身状态，实现在有障碍物环境中面向目标的自主运动，从而完成一定作业功能。其本身能够认识工作环境和工作对象，能够根据人给予的指令和“自身”认识外界来独立地工作，能够利用操作机构和移动机构完成复杂的操作任务。因此，要使智能移动机器人具有特定智能，其首先就须具有多种感知功能，进而进行复杂的逻辑推理、规划和决策，在作业环境中自主行动。机器人在行走过程中通常会碰到并且要解决如下三个问题：（1）我（机器人）现在何处？（2）我要往何处走？（3）我要如何到达该处？其中第一个问题是其导航系统中的定位及其跟踪问题，第二、三个是导航系统的路径规划问题。移动机器人导航与定位技术的任务就是解决上面的三个问题。移动机器人通过传感器感知环境和自身状态，进而实现在有障碍物的环境中面向目标自主运动，这就是通常所说的智能自主移动机器人的导航技术。而定位则是确定移动机器人在工作环境中相对于全局坐标的位置及其本身的姿态，是移动机器人导航的基本环节。 目前，应用于自主移动机器人的导航定位技术有很多，归纳起来主要有：安装CCD 摄像头的视觉导航定位、光反射导航定位、全球定位系统GPS(Global Positioning System)、声音导航定位以及电磁导航定位等。下面分别对这几种方法进行简单介绍和分析。 1、视觉导航定位 在视觉导航定位系统中，目前国内外应用较多的是基于局部视觉的在机器人中安装车载摄像机的导航方式。在这种导航方式中，控制设备和传感装置装载在机器人车体上，图像识别、路径规划等高层决策都由车载控制计算机完成。视觉导航定位系统主要包括：摄像机（或CCD 图像传感器）、视频信号数字化设备、基于DSP 的快速信号处理器、计算机及其外设等。现在有很多机器人系统采用CCD 图像传感器，其基本元件是一行硅成像元素，在一个衬底上配置光敏元件和电荷转移器件，通过电荷的依次转移，将多个象素的视频信号分时、顺序地取出来，如面阵CCD传感器采集的图像的分辨率可以从32×32 到1024×1024 像素等。视觉导航定位系统的工作原理简单说来就是对机器人周边的环境进行光学处理，先用摄像头进行图像信息采集，将采集的信息进行压缩，然后将它反馈到一个由神经网络和统计学方法构成的学习子系统，再由学习子系统将采集到的图像信息和机器人的实际位置联系起来，完成机器人的自主导航定位功能。 视觉导航定位中，图像处理计算量大，计算机实时处理的速度要达到576MOPS~5.76BOPS，这样的运算速度在一般计算机上难以实现，因此实时性差这一瓶颈问题有待解决； 另外，对于要求在黑暗环境中作业的机器人来说，这种导航定位方式因为受光线条件限制也不太适应。 当今国内外广泛研制的竞赛足球机器人通常都采用上面所说的视觉导航定位方式，在机器人小车子系统中安装摄像头，配置图像采集板等硬件设备和图像处理软件等组成机器人视觉系统。通过这个视觉系统，足球机器人就可以实现对球的监测，机器人自身的定位，作出相应动作和预测球的走向等功能

移动机器人控制软件的设计与实现

移动机器人控制软件的设计和实现
作者：李晓明 文章来源：https://www.sodocs.net/doc/e97390457.html, 更新时间：2006-8-9 17:25:55 点击数： 2742
简介：现在做一个移动机器人是很容易的一件事，车体自己可以加工，或买现成的；避障可以用超声阵列；
导航可以用激光测距 LMS；定位可以用电子地图加 LMS 加陀螺仪；然而控制软件却只能自己编写。本文 或许可以给你一些启示。
相关链接 基于 VIA 平台的移动机器人
移动机器人的使用现在非常多，做一个移动机器人似乎也很容易，车体自己可以加工，也可以去 买现成的；避障可以用超声阵列；导航可以用激光测距 LMS；定位可以用电子地图加 LMS 加陀 螺仪；驱动可以用各种电机及配套驱动器或者自己做；通讯可以去买现成的无线通讯模块，可以 是数字的，也有模拟的；大范围定位可以用 GPS 模块，也是现成的；至于什么红外，蓝牙，甚 至计算机视觉都可以去市场上买，但是（然而）为什么做一个移动机器人还是这么难呢？尤其是 对一个新手而言。一个老外说过，硬件是现成的，软件算法杂志里有的是，很多可以在网上当， 但即使是一个博士生也要花费很长的时间完成一个实际可用的移动机器人。为什么？因为机器人 使用的困难在使用软件的设计上。前面那个老外也说过，现在什么都可以在网上当，唯独使用程 序不能。有过自己写移动机器人程序的人可能会理解这段话，当然也仅仅是可能，因为不排除有 很多机器人大拿一上来就可以写出很棒的移动机器人软件。
移动机器人的控制软件开发是和硬件紧密相关的，甚至和机器人的体系结构也密切相关，同样是 移动机器人，有的是用 PC 控制的，有的是用多个嵌入式系统实现的，有的则是多机器人协同工 作的，操作系统有人会用 DOS，有人会用 Windows，有人会用 Linux，有人会用 Embeded Operation System。硬件平台有的用 x86，有的用 ARM 芯片，有的会用 DSP，通讯里面会 有串口，TCP/IP 网络，无线以太网，红外，蓝牙等，甚至驱动机构也不一样，有的是用腿，有

基于深度视觉的室内移动机器人即时定位与建图研究

基于深度视觉的室内移动机器人即时定位与建图研究 在无法获取GPS信号的室内场合,如何有效地解决移动机器人的室内定位与导航问题,已经成为机器人技术研究领域的难点与热点,而即时定位与地图构建(SLAM)方法为此提供了一个较为合适的解决方法。近些年,由于以Kinect为代表的深度相机具有同时获取场景的彩色信息与深度信息的特点,基于深度相机的视觉SLAM方法逐渐成为视觉SLAM研究的一个重要方向。 本文主要针对基于深度相机的室内移动机器人SLAM技术展开研究,先是利用TUM数据集完成视觉SLAM算法的测试,再在移动机器人平台上进行算法实验,结果能够较好地建立出室内环境的地图模型。本文的主要研究内容共分为以下几个部分:首先,对本课题研究中使用的深度相机的模型展开介绍,包括其中涉及的坐标系与坐标变换,以及深度相机的标定方法。 接着,分析机器人的视觉SLAM过程中涉及的相关系统变量,并对其运动方程和观测方程作出描述。同时,结合图模型,以位姿图的形式,表示移动机器人的即时定位与地图构建过程,为后续研究打下基础。 其次,详细研究基于深度相机的视觉SLAM算法的各个模块。考虑整体SLAM 算法的实时性能,在视觉SLAM的前端,采用计算速度极快的ORB特征,并利用汉明距离进行匹配,同时引入误匹配优化机制,提高特征匹配的准确率。 在估计相机运动时,利用深度相机的深度信息,使用3D-2D的方法估计两帧图像之间相机的运动。在后端处理部分,介绍回环检测方法,利用视觉词袋算法对机器人运动过程中的位姿进行回环,约束其位姿的估计误差。 然后,介绍基于位姿图的非线性优化方法,并利用g2o库求解相机运动轨迹,同时根据深度相机的数据,构建点云地图,展开算法的评价。再次,针对点云地图

基于视觉导航的轮式移动机器人设计方案

基于视觉导航的轮式移动机器人设计方案第一章移动机器人 §1.1移动机器人的研究历史 机器人是一种自动化的机器，所不同的是这种机器具备一些与人或生物相似的智能，如感知能力、规划能力、动作能力和协同能力，是一种具有高度灵活性的自动化机器)。1962年，美国Unimation公司的第一台机器人Unimate。在美国通用汽车公司(GM)投入使用，标志着第一代机器人的诞生。 智能移动机器人更加强调了机器人具有的移动能力，从而面临比固定式机器人更为复杂的不确定性环境，也增加了智能系统的设计复杂度。1968年到1972年间，美国斯坦福国际研究所(Stanford Research Institute, SRI)研制了移动式机器人Shaky,这是首台采用了人工智能学的移动机器人。Shaky具备一定人工智能，能够自主进行感知、环境建模、行为规划并执行任务(如寻找木箱并将其推到指定目的位置)。它装备了电视摄像机、三角法测距仪、碰撞传感器、驱动电机以及编码器，并通过无线通讯系统由二台计算机控制。当时计算机的体积庞大，但运算速度缓慢，导致Shaky往往需要数小时的时间来分析环境并规划行动路径。 1970年前联月球17号探测器把世界第一个无人驾驶的月球车送七月球，月球车行驶0.5公里，考察了8万平方米的月面。后来的月球车行驶37公里，向地球发回88幅月面全景图。在同一时代，美国喷气推进实验室也研制了月球车(Lunar rover),应用于行星探测的研究。采用了摄像机，激光测距仪以及触觉传感器。机器人能够把环境区分为可通行、不可通行以及未知等类型区域。 1973年到1979年，斯坦福大学人工智能实验室研制了CART移动机器人，CART可以自主地在办公室环境运行。CART每移动1米，就停下来通过摄像机的图片对环境进行分析，规划下一步的运行路径。由于当时计算机性能的限制，CART每一次规划都需要耗时约15分钟。CMU Rover由卡耐基梅隆大学机

三维激光切割加工

三维激光切割加工 性能参数 耗电耗材： 系统耗电：<8KW(根据选配激光器功率大小而异) 零星耗材：<0.5元/小时(包括高功率激光器水冷系统的滤芯、切割头气嘴和切割头保护镜片) 吹气费用：<6元/小时(以用纯氧辅助切割2MM内碳钢为例) 三维切割系统的技术优势： 1.因为采用了业内最高精度的史陶比尔机械手，本体较轻，切割速度快，在小弧度的精细切割和大边的高速切割方面具有明显优势，实际切割速度可以达到18米/分钟而无抖动，综合加工效率是其他品牌机械手组合的两倍，性价比高，还可以节约一组的耗材和人工，后期可以少追加设备也能满足产能要求。还可24小时持续工作。一次性投入相对较少，在一个很短的折旧期内(两班8小时工作制)，史陶比尔机器人激光解决方案就可回收投资。同时能耗少，体积小，维护需求低。 2.切割精度高。采用史陶比尔专利齿轮减速系统JCS和JCM，独一无二的驱动技术，确保了无可匹敌的轨迹控制精度和速度。即使是要求极高的小圆，或复杂立体几.何图形的加工，也可精确和快速完成，从而提升您的产品品质。系统重复定位精度高达±0.05M，完全可以满足钣金件行业的精度需求。可切割直径小至2MM的小圆，切割效果圆滑美观，目测无形变和毛刺。 3.切割幅面大，实际死角小。选配臂长2.01米的机械手，除了实现直径达3米的半球形三维加工区域外，还可实现较大的二维平面切割，配合我公司配套生产的可移动工作台2.5mX5m(2m 的运动行程)，可实现2mX5m的二维平面切割。 4. 根据实际需要选配离线编程软件，可读取UG,SOLIDWORK等三维作图软件导出的 vda,igs,x_t,sldprt,prt,stp,ipt,par等格式的数模，修改后直接生成切割轨迹，代替人工示教，简单易用。 5. 工业控制理念，模块化设计，全系统的防护等级为IP55,机械手防护等级更是高达IP65，系统集成度高，故障少，抗冲击振动，抗灰尘，无须光学调整或维护，真正适合于工业加工领域的应用用于恶劣的激光环境。结构坚固，动态性更佳。而其他同类产品为简单集成，设备的稳定性较差。 6.系统的工艺性和易用性较好。简单而功能强大的史陶比尔激光专用标准软件LasMAN基于Windows操作系统，用户界面简单友好，集成了机器人运动控制、激光控制、数据处理和产品管理等功能。友好的人机界面，模块化的设计，使得操作者仅需经过简单的培训即可达到系统产能最大化，同时也易于集成。这就大大降低了对操作工人的要求，降低了对工人的管理难度。

基于路径识别的移动机器人视觉导航

第9卷　第7期2004年7月 中国图象图形学报Journal of Image and G raphics V ol.9,N o.7July 2004 基金项目:国家“863”计划资助项目(编号:2001AA422200)收稿日期:2004201213;改回日期:2004204206 基于路径识别的移动机器人视觉导航 张海波　原　魁　周庆瑞 (中国科学院自动化研究所高技术创新中心,北京　100080) 摘　要　跟随路径导引是自主式移动机器人广泛采用的一种导航方式,其中视觉导航具有其他传感器导航方式所无法比拟的优点,是移动机器人智能导航的主要发展方向。为了提高移动机器人视觉导航的实时性和准确性,提出了一个基于路径识别的视觉导航系统,其基本思想是首先用基于变分辨率的采样二值化和形态学去噪方法从原始场景图像中提取出目标支持点集,然后用一种改进的哈夫变化检测出场景中的路径,最后由路径跟踪模块分直行和转弯两种情况进行导航计算。实验结果表明,该视觉导航系统具有较好的实时性和准确性。关键词　自主式移动机器人　视觉导航　路径识别 中图法分类号:TP242.62 文献标识码:A 文章编号:100628961(2004)0720853205 Visual N avigation of a Mobile R obot B ased on P ath R ecognition ZH ANG Hai 2bo ,Y UAN K ui ,ZH OU Qing 2rui (Hi 2tech Innovation Centre ,Institute o f Automation ,Chinese Academy o f Sciences ,Beijing 100080) Abctract G uidance using path following is widely applied in the field of autonom ous m obile robots.C om pared with the navigation system without vision ,visual navigation has obvious advantages as rich in formation ,low cost ,quietness ,innocuity ,etc.This pa 2per describes a navigation system which uses the visual in formation provided by guide lines and color signs.In our approach ,the visual navigation is com posed of three main m odules :image 2preprocessing ,path 2recognition and path 2tracking.First ,image 2pre 2processing m odule formulates color m odels of all kinds of objects ,and establishes each object ’s support through adaptive subsam 2pling 2based binarization and mathematical m orphology.Second ,path 2recognition m odule detects the guide lines through an im 2proved H ough trans form alg orithm ,and the detected results including guide lines and color signs integrate the path in formation.Fi 2nally ,calling different functions according to the m ovement of straight 2g oing or turning ,path 2tracking m odule provides required in 2put parameters to m otor controller and steering controller.The experimental results dem onstrate the effectiveness and the robustness of our approach. K eyw ords com puter perception ,autonom ous m obile robot ,visual navigation ,path recognition 1　引　言 导航技术是移动机器人的一项核心技术,其难 度远远超出人们最初的设想,其主要原因有:一是环境的动态变化和不可预测;二是机器人感知手段的不完备,即很多情况下传感器给出的数据是不完全、不连续、不可靠的[1]。这些原因使得机器人系统在复杂度、成本和可靠性方面很难满足要求。 目前广泛应用的一种导航方式是“跟随路径导 引”,即机器人通过对能敏感到的某些外部的连续路 径参照线作出相应反应来进行导航[2]。这种方法和传统的“硬”自动化相比大大增加了系统的灵活性,其具有代表性的系统有:C ontrol Engineering 公司安装的导线引导系统,它是通过检测埋在地下的引导导线来控制行进方向,其线路分岔则通过在导线上加载不同频率的电流来实现[3];Egemin Automation 公司生产的Mailm obile 机器人则安装有主动式紫外光源,并通过3个光电探头来跟随由受激化学物质构成的发光引导路径[4];Macome 公司为自动驾驶车

移动机器人视觉定位方法的研究

移动机器人视觉定位方法的研究 针对移动机器人的局部视觉定位问题进行了研究。首先通过移动机器人视觉定位与目标跟踪系统求出目标质心特征点的位置时间序列，然后在分析二次成像法获取目标深度信息的缺陷的基础上，提出了一种获取目标的空间位置和运动信息的方法。该方法利用序列图像和推广卡尔曼滤波，目标获取采用了HIS模型。在移动机器人满足一定机动的条件下，较精确地得到了目标的空间位置和运动信息。仿真结果验证了该方法的有效性和可行性。 运动视觉研究的是如何从变化场景的一系列不同时刻的图像中提取出有关场景中的目标的形状、位置和运动信息，将之应用于移动机器人的导航与定位。首先要估计出目标的空间位置和运动信息，从而为移动机器人车体的导航与定位提供关键前提。 视觉信息的获取主要是通过单视觉方式和多视觉方式。单视觉方式结构简单，避免了视觉数据融合，易于实现实时监测。如果利用目标物体的几何形状模型，在目标上取3个以上的特征点也能够获取目标的位置等信息。此方法须保证该组特征点在不同坐标系下的位置关系一致，而对于一般的双目视觉系统，坐标的计算误差往往会破坏这种关系。 采用在机器人上安装车载摄像机这种局部视觉定位方式，本文对移动机器人的运动视觉定位方法进行了研究。该方法的实现分为两部分：首先采用移动机器人视觉系统求出目标质心特征点的位置时间序列，从而将对被跟踪目标的跟踪转化为对其质心的跟踪；然后通过推广卡尔曼滤波方法估计目标的空间位置和运动参数。 1.目标成像的几何模型 移动机器人视觉系统的坐标关系如图1所示。 其中O-XYZ为世界坐标系；Oc-XcYcZc为摄像机坐标系。其中Oc为摄像机的光心，X 轴、Y轴分别与Xc轴、Yc轴和图像的x，y轴平行，Zc为摄像机的光轴，它与图像平面垂直。光轴与图像平面的交点O1为图像坐标系的原点。OcO1为摄像机的焦距f. 图1 移动机器人视觉系统的坐标关系

三维激光切割系统

三维激光切割系统 系统选型： 1. 根据工件大小选配不同臂长的机械手。在置顶安装的情况下，机械手为半球面的工作区域，考虑到用户的实际加工情况和后期产品升级空间，建议采用臂长 2.01米的机械手，可达直径3米的半球形加工区域。 2. 根据工件材质和厚薄选配不同功率级别的光纤激光器。金属的切割以碳钢、铝和不锈钢三种为代表，铝等为高反射材料，同样料厚情况下需选配更大功率的激光器，碳钢比较容易切割，典型参数为2MM内厚碳钢选用200W激光器。具体选型可接洽我公司工艺工程师。 3. 根据工件厚薄选配不同焦距的切割头，有3、5、7英寸可供选配。6mm以下薄板切割可选5英寸的中焦距切割头，6mm 以上中厚板切割一般选用7英寸的长焦距切割头。 4. 根据实际需要选配离线编程软件。 三维光纤激光切割机器人的技术优势 (1)三维切割系统的优势 第一，切割速度快，为同类产品的两倍。 第二，切割精度高。系统重复定位精度高达±100um。 第三，可切割<φ2mm的小圆，切割效果圆滑美观，目测无形变和毛刺。单个小圆切割时间可控制在2s 内。 第四，选配臂长2.01m的机械手，除了实现直径达3m的半球形三维加工区域外，还可实现3m×1.5m 的二维平面切割。 第五，根据实际需要选配离线编程软件，可读取UG、SolidWork等三维软件导出格式的数模，修改后直接生成切割轨迹，代替人工示教，简单易用。 (2)采用IPG光纤激光器和激光电源激光器性能稳定，可使产品整体质量得到安全保障。光纤激光器具有散热面积大、光束质量好、体积小巧等优点，同体积庞大的气体激光器和固体激光器相比具有明显的优势。 (3)采用美国进口激光切割头配置美国进口的激光切割头，通过机械手编程控制，保持最佳的焦距，确保最佳的切割效果，避免了材料不平整时，焦距变化问题引起的材料报废。 (4)机械手控制系统采用机械人操控系统，可提供适合每一种零部件的全方位机器人生产解决方案。具有可靠性强、速度快、精度高、功率大、坚固耐用、通用性等特点。

智能式移动机器人设计说明书

智能移动式送料机器人机械系统设计 摘要：智能移动式送料机器人以电动机作为驱动系统，运用单片机传感器等技术达到其智能移动的目的，实现行走、刹车、伸缩、回转等多种动作的操作。因此它具有机械化、程序化、可控化、适应性、灵活性强的特点。 前言：工业机器人是一种典型的机电一体化产品在现代生产中应用日益广泛，作用越来越重要，机器人技术是综合了计算机、控制、机构学、传感技术等多学科而形成的高新技术是当代研究十分活跃，应用日益广泛的领域。

现在，国际上对机器人的概念已经逐渐趋近一致。一般说来，人们都可以接受这种说法，即机器人是靠自身动力和控制能力来实现各种功能的一种机器。联合国标准化组织采纳了美国机器人协会给机器人下的定义：“一种可编程和多功能的，用来搬运材料、零件、工具的操作机；或是为了执行不同的任务而具有可改变和可编程动作的专门系统。”我国研制的排爆机器人不仅可以排除炸弹，利用它的侦察传感器还可监视犯罪分子的活动。监视人员可以在远处对犯罪分子昼夜进行观察，监听他们的谈话，不必暴露自己就可对情况了如指掌。 智能小车，又称轮式机器人，可以在人类无法

适应的恶劣和危险环境中代替人工作。它是一个集环境感知，规划决策，自动驾驶等功能于一体的智能系统。现如今已在诸多领域有广泛的应用。对于快要毕业的大学生来说也是一个实时、富有意义和挑战的设计课题。 正文： 设计方案： 一课题名称：智能移动式送料机器人设计 二机器人工作过程及设计要求 自主设计智能移动小车，设计一个取料 手爪装配到小车上，完成取料机器人的机械系统设计，并进行机器人运动规划和取料虚拟仿真，使机

器人完成如下动作：沿规定路径行驶——工件夹取——车体旋转——手爪张开，将工件从储存处送到运料车上。 三机器人设计的内容 一机械手的设计：

三维激光切割的应用和研究

三维激光切割的应用和研究 1 引言 由于CO2激光器和Nd：YAG激光器能产生很高的平均功率和能量，20世纪70年代激光技术开始应用于材料切割领域。1979年，第一台五轴CO2激光切割机在Prima工业公司建成，用于轿车内部塑料元件加工。随着激光配套设备(导光系统、调焦系统等)的不断完善，三维激光切割技术从20世纪80年代起在国外开始了大规模应用。我国对二维激光切割技术的研究较早，但由于种种原因，三维切割技术无论理论研究还是实际应用，都远落后于发达国家，亟需走从国外引进技术和自主研发相结合之道路来改变这一现状。 2 三维激光切割机设备结构 三维表面的切割一般需要五轴。作为一种非接触的光加工，激光切割质量受到诸多因素影响，就设备硬件操作而言，主要包括光束传输、喷嘴类型、辅助气体种类和压力、光束聚焦、光束偏移和进给速度等。 2.1 激光切割设备分类 通用的激光加工机可以大概分为龙门式激光加工机床和激光加工机器人，如图1所示。一般来讲，前者工作空间大、加工速度快、加工精度高，但允许加工工件的质量和尺寸较小，接近加工区的能力较差；相比之下，后者虽然加工速度和加工精度不及前者，但可允许加工的工件质量和尺寸较大，接近加工区的能力也比前者强。近年，随着大型龙门式机床的出现，其能加工的工件大小可达 4.5m×2.5m×1m(见表1)以上；机器人由于其低廉的价格和高柔性，并可使用光纤传输YAG激光进行加工，其应用前景也被看好。

图1 激光加工机 表1上海团结普瑞玛Pratico型和NTC TLM_914的精度比较 2.2 激光切割头及其位姿的实现 三维切割要求喷嘴所产生的流场在工件表面的切割压力比较稳定，靠近焦点位置的气体流场不产生激波。使用较多的是超音速拉菲尔喷嘴，但其内部结构复杂，加工较为困难。图2为两种典型的五轴激光加工机床的切割头，图2(a)所示的偏置型切割头只采用了两块反射镜，结构紧凑、尺寸精巧，其喷嘴可以实现大于±90°的旋转(垂直水平面为0°)，适合有高差和纵深的工件加工。图2(b)为一点指向型激光切割头，这种切割头的特点是无论A轴、C轴(或B轴、C轴)怎么变化，喷嘴指向工件表面的位置始终不变，这使得工作变得较为容易，在材料表面的加工基本无

移动机器人视觉定位设计方案

移动机器人视觉定位设计方案 运动视觉研究的是如何从变化场景的一系列不同时刻的图像中提取出有关场景中的目标的形状、位置和运动信息，将之应用于移动机器人的导航与定位。首先要估计出目标的空间位置和运动信息，从而为移动机器人车体的导航与定位提供关键前提。 视觉信息的获取主要是通过单视觉方式和多视觉方式。单视觉方式结构简单，避免了视觉数据融合，易于实现实时监测。如果利用目标物体的几何形状模型，在目标上取3 个以上的特征点也能够获取目标的位置等信息。此方法须保证该组特征点在不同坐标系下的位置关系一致，而对于一般的双目视觉系统，坐标的计算误差往往会破坏这种关系。 采用在机器人上安装车载摄像机这种局部视觉定位方式，本文对移动机器人的运动视觉定位方法进行了研究。该方法的实现分为两部分：首先采用移动机器人视觉系统求出目标质心特征点的位置时间序列，从而将对被跟踪目标的跟踪转化为对其质心的跟踪；然后通过推广卡尔曼滤波方法估计目标的空间位置和运动参数。 1 目标成像的几何模型 移动机器人视觉系统的坐标关系如图1 所示。 其中O-X Y Z 为世界坐标系；O c - X cY cZ c 为摄像机坐标系。其中O c 为摄像机的光心，X 轴、Y 轴分别与X c 轴、Y c 轴和图像的x ，y 轴平行，Z c 为摄像机的光轴，它与图像平面垂直。光轴与图像平面的交点O 1 为图像坐标系的原点。O cO 1 为摄像机的焦距f 。 图1 移动机器人视觉系统的坐标关系 不考虑透镜畸变，则由透视投影成像模型为：

式中，Z′= ［u，v ］T 为目标特征点P 在图像坐标系的二维坐标值；（X ，Y ，Z ）为P 点在世界坐标系的坐标；（X c0，Y c0，Z c0）为摄像机的光心在世界坐标系的坐标；dx ，dy 为摄像机的每一个像素分别在x 轴与y 轴方向采样的量化因子；u0，v 0 分别为摄像机的图像中心O 1 在x 轴与y 轴方向采样时的位置偏移量。通过式（1）即可实现点P 位置在图像坐标系和世界坐标系的变换。 2 图像目标识别与定位跟踪 2.1 目标获取 目标的获取即在摄像机采集的图像中搜索是否有特定目标，并提取目标区域，给出目标在图像中的位置特征点。 由于机器人控制实时性的需要，过于耗时的复杂算法是不适用的，因此以颜色信息为目标特征实现目标的获取。本文采用了HS I 模型， 3 个分量中，I 是受光照影响较大的分量。所以，在用颜色特征识别目标时，减少亮度特征I 的权值，主要以H 和S 作为判定的主要特征，从而可以提高颜色特征识别的鲁棒性。 考虑到连通性，本文利用捕获图像的像素及其八连通区域的平均HS 特征向量与目标像素的HS特征向量差的模是否满足一定的阈值条件来判别像素的相似性；同时采用中心连接区域增长法进行区域增长从而确定目标区域。图2 给出了目标区域分割的算法流程。

机器人移动平台设计中英文翻译

附录： 外文资料与中文翻译 外文资料： Robots First, I explain the background robots, robot technology development. It should be said it is a common scientific and technological development of a comprehensive results, for the socio-economic development of a significant impact on a science and technology. It attributed the development of all countries in the Second World War to strengthen the economic input on strengthening the country's economic development. But they also demand the development of the productive forces the inevitable result of human development itself is the inevitable result then with the development of humanity, people constantly discuss the natural process, in understanding and reconstructing the natural process, people need to be able to liberate a slave. So this is the slave people to be able to replace the complex and engaged in heavy manual labor, People do not realize right up to the world's understanding and transformation of this technology as well as people in the development process of an objective need. Robots are three stages of development, in other words, we are accustomed to regarding robots are divided into three categories. is a first-generation robots, also known as teach-type robot, it is through a computer, to control over one of a mechanical degrees of freedom Through teaching and information stored procedures, working hours to read out information, and then issued a directive so the robot can repeat according to the people at that time said the results show this kind of movement again, For example, the car spot welding robots, only to put this spot welding process, after teaching, and it is always a repeat of a work １

三维激光切割系统

三维激光切割系统 三维光纤激光切割系统的特点： 1)采用进口光纤激光器，电-光转化效率高，节省运行成本，生产效率高; 2)采用智能化激光切割机控制系统，具有质量在线检测功能和自适应补偿; 3)配置进口关节臂机械手，可实现三维任意角度切割; 4)配置进口激光切割头，反应灵敏、准确，自适应补偿距离，防碰撞; 5)第七轴联动工作台，可以满足大尺寸工件切割; 6)自主开发了冲压件切割线优化系统，可以根据工件变形情况自动优化切割线，提高离线编程切割的冲压件精度。 三维激光切割机 公司根据前期大量的市场调研，结合汽车钣金覆盖件和底盘件的行业特点，现推出工业机器人+光纤激光器的组合进行三维切割，耗材耗电总费用控制在每小时20元内，彻底有效的解决了上述问题。 首先，用工业机器人代替五轴机床。两者都能进行空间轨迹的描述实现三维立体切割，工业机器人的重复定位精度比五轴机床稍低，约为±100uM，但这完全可以满足汽车钣金覆盖件和底盘件行业的精度要求了。而采用工业机器人切割效率高，相当于传动五轴激光切割机床切割速度的两倍，大大降低了系统的成本造价，减少了耗电系统费用和系统运行维护费用，减少了系统的占地面积。 其次，用光纤激光器代替CO2激光器。光纤激光技术是近几年高速发展的激光技术，相比传统激光，具有更好的切割质量，更低的系统造价，更长的使用寿命和更低的维护费用，更低的耗电。关键是光纤激光器的激光可以通过光纤传输，方便与工业机器连接，实现柔性加工。 总之，采用工业机器人+光纤激光器的组合进行加工，修边冲孔等工艺一次完成，切口整齐无需后道工艺再处理，大大缩短了工艺流程，降低了人工成本和投入，也提高了产品档次和产品附加值。LasMAN专用激光软件的使用，支持通过数模直接生成切割轨迹，抛弃了繁杂的人工示教，更加适合小批量多批次的维修市场、新品试制和非标定制等一些个性化的切割需求。而且，投资高柔性高效率的激光切割设备，来代替昂贵的冲压设备和剪裁设备，可以更加灵活的更换产品，把握市场。 三维切割系统的技术优势： 1.因为采用了业内最高精度的史陶比尔机械手，本体较轻，切割速度快，在小弧度的精细切割和大边的高速切割方面具有明显优势，实际切割速度可以达到18米/分钟而无抖动，综合加工效率是其他品牌机械手组合的两倍，性价比高，还可以节约一组的耗材和人工，后期可以少追加设备也能满足产能要求。还可24小时持续工作。一次性投入相对较少，在一个很短的折旧期内(两班8小时工作制)，史陶比尔机器人激光解决方案就可回收投资。同时能耗少，体积小，维护需求低。 2.切割精度高。采用史陶比尔专利齿轮减速系统JCS和JCM，独一无二的驱动技术，确保了无可匹敌的轨迹控制精度和速度。即使是要求极高的小圆，或复杂立体几.何图形的加工，也可精确和快速完成，从而提升您的产品品质。系统重复定位精度高达±0.05M，完全可以满足钣金件行业的精度需求。可切割直径小至2MM的小圆，切割效果圆滑美观，目测无形变和毛刺。

一种基于单目视觉的移动机器人室内导航方法

第32卷第4期2006年7月 光学技术 OPTICAL TECHN IQU E Vol.32No.4 J uly　2006 文章编号:1002-1582(2006)04-0591-03 一种基于单目视觉的移动机器人室内导航方法Ξ 付梦印,谭国悦,王美玲 (北京理工大学信息科学技术学院自动控制系,北京　100081) 摘　要:针对室内导航的环境特点,提出了一种简单快速的、以踢脚线为参考目标的移动机器人室内导航方法。该方法从图像中提取踢脚线作为参考直线,通过两条直线在图像中的成像特征,提取角度和横向偏离距离作为移动机器人的状态控制输入,从而实现移动机器人的横向运动控制。该方法无需进行摄像机的外部参数标定,大大简化了计算过程,提高了视觉导航的实时性。 关键词:视觉导航;直线提取;Hough变换;移动机器人;踢脚线 中图分类号:TP242.6+2;TP391 文献标识码:A An indoor navigation algorithm for mobile robot based on monocular vision FU Meng-yin,T AN G uo-yue,WANG Mei-ling (Department of Automatic Control,School of Information and Science Technolo gy, Beijing Institute of Technology,Beijing　100081,China) Abstract:Considered the features of indoor environment,a sim ple fast indoor navigation algorithm for vision-guide mobile robot was presented,which used skirting lines as the reference objects to locate the mobile robot.This algorithm detected skirt2 ing lines using monocular images and analyzed the lines’parameters to provide angle and distance of the robot as in puts of robot control.Without calibrating camera parameters,this algorithm greatly reduces computation time and improves the real-time a2 bility of vision navigation. K ey w ords:vision navigation;line detection;Hough transform;mobile robot;skirt line 1　引　言 近年来,机器视觉因其含有丰富的环境信息而受到普遍的关注。随着视觉传感器价格的不断下降,视觉导航已成为导航领域研究的热点。在室外进行视觉导航时,采用视觉传感器可获取车道信息,通过摄像机的标定来实现坐标转换,通过确定车辆当前的状态来实现导航。绝大部分智能车辆都是应用视觉来完成车道检测的[1,2],例如意大利的AR2 GO[3]项目就是通过使用逆投射投影的方法[4]来确定车辆状态的,并获得了良好的实验效果。在室内进行视觉导航时,利用视觉提取室内环境特征,例如一些预先设置的引导标志就是通过图像处理进行识别并理解这些标志来完成导航任务的[5,6]。这些都需要在图像中进行大量的搜索运算来提取标志,并通过一系列的图像理解算法来理解标志的信息,因而计算量很大。当然也可以通过视觉计算室内环境,例如通过走廊中的角点特征来获取状态信息[7],以此减少图像搜索时的计算量。但这些角点信息易受移动机器人运动的影响,会模糊角点信息,为了提高计算精度需要通过光流法对背景信息进行运动补偿,计算复杂,实时性不理想。 当移动机器人在实验室走廊环境下进行导航控制时,需要视觉传感器为其提供偏航角和横向偏离距离这两个参数。通过对单目视觉图像进行处理来获取这两个参数,完成移动机器人的横向运动控制。 2　摄像机成像模型与视觉系统 2.1　摄像机成像模型 使用视觉传感器首先要考虑的是其成像模型,它是指三维空间中场景到图像平面的投影关系,不同的视觉传感器有不同的成像模型。本文采用高分辨率CCD摄像机作为视觉传感器,其成像模型为针孔模型,空间中任意一点P在图像上的成像位置可以用针孔模型近似表示。如图1所示,P点投影位置为p,它是光心O同P点的连线O P与图像平面的交点,这种关系叫投射投影。图中标出的坐标系定义如下[8]: (1)图像坐标系I(u,v)是以图像平面的左上角为坐标原点所定义的直角坐标系,以像素为单位表示图像中点的位置。 (2)像平面坐标(x,y)指的是CCD成像靶面 195 Ξ收稿日期:2005-07-12 E-m ail:guoyuetan@https://www.sodocs.net/doc/e97390457.html, 基金项目:国家自然科学基金资助项目(60453001) 作者简介:付梦印(1964-),男,北京理工大学信息科学技术学院自动控制系教授,博士,主要从事导航制导、控制组合导航及智能导航技术的研究。