基于视觉的无人机大范围室外道路检测及拓扑地图构建

王玉茜  张雪涛  闫 飞  庄 严

（1.大连理工大学控制科学与工程学院，大连 116024；2.大连理工大学人工智能学院，大连 116024）

摘 要: 空地协作中空中机器人对室外可行道路的检测与建图，有利于提升地面机器人的导航能力。为了实现上述功能，提出了一种新的基于道路分割、图像拼接、骨架提取的无人机大范围室外道路检测及拓扑地图构建方法。首先，为了解决无人机基于航拍图像的道路识别问题，通过D-LinkNet 网络完成对无人机航拍图像中道路的分割，并在保证分割准确率的情况下提升了分割的实时性。其次，考虑到无人机飞行高度和相机视角有限的问题，设计了基于GPU 加速的ORB 图像拼接算法，从而实现了室外大范围场景的获取。然后，为了完成道路拓扑关系的建立，借鉴并行二值图像细化算法，设计了用于道路拓扑化的骨架提取算法，进而得到了道路拓扑地图。最后，所提方法在马萨诸塞州道路数据集上进行测试，实验结果验证了该方法在道路分割、拓扑地图构建方面具有较高的准确性，且可满足实时性要求。所建拓扑地图有利于地面机器人导航能力的提升。

关键词: 空地协作；拓扑地图；D-LinkNet；道路分割；图像拼接；骨架提取

1 引 言

近年来，随着人类在人工智能、地图构建、图像处理等领域取得突破性的科技进展，无人机和地面机器人也得到了迅速发展，二者各有利弊。一方面，无人机具有较广的观察视角，但其有效载荷低、续航时间有限；另一方面，地面机器人的视角受限制，但其有效载荷高、续航时间长[1]。如果利用无人机进行环境探索，从而引导地面机器人更快地完成作业任务，即空地协作，吸引了诸多学者研究[2-6]。文献[7]提出了一种基于鸟瞰图导航地面机器人的概念证明。文献[8]利用无人机空中建图，进而驱动地面机器人进行避障和路径规划。空地协作可以拓宽地面机器人的有限视场[9-10]，可以用于虚拟现实[11]、多机器人监控[12-13]、协同作战[14]。而如何利用无人机对地面环境建图是空地协作领域发展的一个关键问题。

本文目标是使用无人机生成可供地面机器人使用的室外大范围拓扑地图。为此，本文提出了一种基于道路分割、图像拼接和骨架提取的大范围拓扑地图构建方法，其中，图像拼接技术可实现室外大范围场景的获取，道路分割和骨架提取可实现拓扑地图的构建。

为实现拓扑化地图的构建，首先需要无人机对地面道路的准确观测，即对场景中的道路进行准确分割。在道路分割领域，基于航拍图像的道路检测技术的应用范围越来越广，道路识别也得到广泛研究。文献[15]基于视觉对车道线和道路边界进行检测，同时运用基于蒙特卡罗方法的置信度评价方法对待测图像进行处理。该算法能够有效地克服道路环境不佳的影响，并且计算耗时较小。然而，该算法仅适用于与环境背景特征相差较大的道路目标检测，很难适用于背景环境复杂的无人机航拍图像。文献[16]提出了基于启发式搜索连接的航拍图像直线检测方法，首先对图像进行高斯滤波和边缘检测，然后利用启发式搜索连接，提取出符合道路直线模型的直线，最终获得检测结果。该算法实现简单并具有良好的抗噪性能。文献[17]提出了基于霍夫变换的航拍图像道路检测，霍夫直线检测作为直线提取的经典算法，广泛应用于直线检测领域。文献[18]针对道路颜色与周围环境颜色存在明显区别的情况，提出了基于颜色识别的道路检测，但航拍图像受屋顶、树木阴影、车辆等影响较大，不适合应用此方法。随着深度学习的发展，出现了多种基于神经网络[19-20]的航拍图像道路提取方法，主要分为两类：一类追求图像分割的准确性，牺牲了时间；另一类则以快速为主，降低了准确性。为了兼顾时间与准确性，本文采用时间与准确性均衡的D-LinkNet 语义分割神经网络[21]。

其次，通过图像拼接实现大范围场景的获取，在图像拼接领域，Szeliski 提出了包含相机三维旋转运动的图像拼接技术，该方法首先求解透视矩阵，然后求解单应性矩阵的参数，调整焦距和旋转矩阵以消除累积误差，最后采用加权融合的方法将拼接图像合成到一起。Brown 等[22-23]使用基于不变局部特征的物体识别技术来选择匹配图像，实现了无序图像的全自动拼接，取得了较好的拼接效果。然而，当图像数目较多时，边缘图像会发生畸变。为了解决这个缺陷，Gao 等[24]将场景划分为背景平面和前景平面，用两个单应性矩阵分别对齐背景和前景，进而无缝拼接大部分现实场景。随后，文献[25]采用网格优化的方法来解决图像拼接问题，从形状矫正的角度出发，借鉴图像缩放的Shape-Preserving 类方法，非重叠区域逐渐过渡到全局相似变换，并对整个图像 增加相似变换约束，矫正拼接图像的畸变，减小了投影失真。Lowe[26-27]提出了尺度不变特征变换（Scale-Invariant Feature Transform, SIFT）算法，其具有尺度不变性，可在图像中检测出关键点，对于光线、噪声、微视角改变的容忍度也相当高，但SIFT 算法计算量大，匹配速度较慢。因此，Bay 等[28]提出了快速鲁棒特征（Speeded Up Robust Features, SURF）算法，它是SIFT 算法的加速版，其性能可与SIFT 相媲美，且比SIFT 快三倍。SURF 善于处理模糊和旋转的图像，但不擅长处理视点变化和照明变化。为解决SIFT 特征的高昂计算代价以及对噪声敏感的弱点，Rublee 等[29]提出了特征提取算法（Oriented FAST and Rotated BRIEF，ORB），该算法基于FAST 和BRIEF 特征提出了二值特征，大大减少了计算量，提高了匹配速度，实验表明，ORB 算法在时间上比SIFT 快100 倍，比SURF 快10 倍，并且匹配效果也较好。在道路分割后进行图像拼接，可减少拼接时提取特征点的数量，大大减少了匹配拼接的计算量。除此之外，为了进一步提高匹配速度，本文设计了基于GPU 加速的ORB 图像拼接算法，可以兼顾实时性与准确性。

最后，关于地图构建，目前的地图表示方法分为三类：栅格地图、几何地图和拓扑地图[30]。其中，拓扑地图将环境表示为一张拓扑意义的图，图中的节点对应环境中的拐点或交叉点，弧表示不同节点之间的通道，适合于表示大规模环境。为完成拓扑地图的构建，需要对道路分割后的大范围场景进行骨架提取。一类方法是通过对所有道路线段求交来建立道路拓扑，但是在确定道路是否相交时难以选择阈值。与此不同，用骨架表示目标图像的连接拓扑和边界信息，在机器人领域有着广泛的应用。图像骨架提取，即提取目标在图像上的中心像素轮廓，以目标中心为准，对目标进行细化，细化后的目标为单像素宽度。中轴线是一个典型的骨架模型，其具有简单、完整等优点。在此基础上，研究人员提出了一系列基于细化的骨架提取算法，其大致可分为迭代和非迭代两大类。在迭代算法中，又分为并行迭代和顺序迭代两种。Saeed 等[31]提出的K3M 算法则是顺序迭代中应用广泛的方法之一，该类算法的思想是，假定从二值图像中物体的边界处同时开始燃烧，物体就会被逐步细化，但在燃烧过程中要保证满足一定条件的点被保留或者被“烧掉”，以确定燃烧结束后，剩下最后一个像素宽度的图像为图像的骨架。该方法存在像素冗余问题，得到的骨架出现分叉、不平滑现象。并行迭代以Zhang并行快速细化算法最为经典，该算法多应用于文字骨架的提取，在连接性和轮廓噪声抗扰度方面效果较好。本文使用骨架提取的方法进行拓扑化，将Zhang 并行快速细化算法应用于拓扑地图的构建。

为了实现室外大范围拓扑地图构建，本文提出了基于道路识别、图像拼接、骨架提取集成的拓扑地图构建框架。具体而言，先由图像拼接实现大范围场景获取，然后通过道路识别和骨架提取实现拓扑地图构建。由于所提策略先分割后拼接，实现了方法的实时性。此外，设计了基于GPU加速的ORB 图像拼接算法，提高了拼接效率。

2 大范围拓扑地图构建方案

2.1 整体方案设计

本文的整体设计方案可分为三部分：道路分割、图像拼接、拓扑构建，采用边分割边拼接、先分割后拼接的方案，前者可减少同时参与拼接的图像数目，增加拼接准确性，后者可减少拼接时特征点检测与匹配的计算量，增加拼接速度，流程图如图1 所示。

图1 整体方案流程图

Fig.1 Flow chart of the general scheme

2.2 基于深度学习的航拍图像道路分割

2.3 基于ORB 算法的图像拼接

2.4 基于骨架提取的拓扑地图构建

3 实验结果及分析

4 结 论

本文针对空地协作领域无人机室外道路观测问题，提出了由道路分割、图像拼接、骨架提取组成的基于视觉的无人机大范围室外道路拓扑地图的构建方法。首先，成功地将基于D-LinkNet的航拍图像道路分割和Zhang 并行快速细化算法 用于室外大范围拓扑地图构建问题；其次，提出先分割后拼接的方案，大大减少了图像拼接计算量，设计了基于GPU 加速的ORB 拼接算法，提高了拼接效率；最后，在INRIA aerial image 数据集上成功验证了该方法的准确性和实时性。

参考文献（略）

来源丨《无人系统技术》2021年第4期