​微信公众号
手机版
​​新浪微博
会员登录
关于我们  |   商务合作  |  友情链接   |  意见反馈  |  人才招聘
北京云翼同创科技有限公司 深圳高博特文化发展有限公司   版权所有,并保留所有权利 © 2018 京ICP备16044150号-1                       

跨界 · 融合 · 服务 · 创新



双击此处添加文字
科普园地
首页  > 新闻聚焦 > 科普园地  >  详情 
基于视觉的无人机大范围室外道路检测及拓扑地图构建
来源:无人系统技术 | 作者:王玉茜 张雪涛 闫 飞 庄 严 | 发布时间: 2021-12-06 | 6692 次浏览 | 分享到:
空地协作中空中机器人对室外可行道路的检测与建图,有利于提升地面机器人的导航能力。为了实现上述功能,提出了一种新的基于道路分割......

基于视觉的无人机大范围室外道路检测及拓扑地图构建

王玉茜  张雪涛  闫 飞  庄 严

(1.大连理工大学控制科学与工程学院,大连 116024;2.大连理工大学人工智能学院,大连 116024)

摘 要: 空地协作中空中机器人对室外可行道路的检测与建图,有利于提升地面机器人的导航能力。为了实现上述功能,提出了一种新的基于道路分割、图像拼接、骨架提取的无人机大范围室外道路检测及拓扑地图构建方法。首先,为了解决无人机基于航拍图像的道路识别问题,通过D-LinkNet 网络完成对无人机航拍图像中道路的分割,并在保证分割准确率的情况下提升了分割的实时性。其次,考虑到无人机飞行高度和相机视角有限的问题,设计了基于GPU 加速的ORB 图像拼接算法,从而实现了室外大范围场景的获取。然后,为了完成道路拓扑关系的建立,借鉴并行二值图像细化算法,设计了用于道路拓扑化的骨架提取算法,进而得到了道路拓扑地图。最后,所提方法在马萨诸塞州道路数据集上进行测试,实验结果验证了该方法在道路分割、拓扑地图构建方面具有较高的准确性,且可满足实时性要求。所建拓扑地图有利于地面机器人导航能力的提升。

关键词: 空地协作;拓扑地图;D-LinkNet;道路分割;图像拼接;骨架提取

1 引 言

近年来,随着人类在人工智能、地图构建、图像处理等领域取得突破性的科技进展,无人机和地面机器人也得到了迅速发展,二者各有利弊。一方面,无人机具有较广的观察视角,但其有效载荷低、续航时间有限;另一方面,地面机器人的视角受限制,但其有效载荷高、续航时间长[1]。如果利用无人机进行环境探索,从而引导地面机器人更快地完成作业任务,即空地协作,吸引了诸多学者研究[2-6]。文献[7]提出了一种基于鸟瞰图导航地面机器人的概念证明。文献[8]利用无人机空中建图,进而驱动地面机器人进行避障和路径规划。空地协作可以拓宽地面机器人的有限视场[9-10],可以用于虚拟现实[11]、多机器人监控[12-13]、协同作战[14]。而如何利用无人机对地面环境建图是空地协作领域发展的一个关键问题。

本文目标是使用无人机生成可供地面机器人使用的室外大范围拓扑地图。为此,本文提出了一种基于道路分割、图像拼接和骨架提取的大范围拓扑地图构建方法,其中,图像拼接技术可实现室外大范围场景的获取,道路分割和骨架提取可实现拓扑地图的构建。

为实现拓扑化地图的构建,首先需要无人机对地面道路的准确观测,即对场景中的道路进行准确分割。在道路分割领域,基于航拍图像的道路检测技术的应用范围越来越广,道路识别也得到广泛研究。文献[15]基于视觉对车道线和道路边界进行检测,同时运用基于蒙特卡罗方法的置信度评价方法对待测图像进行处理。该算法能够有效地克服道路环境不佳的影响,并且计算耗时较小。然而,该算法仅适用于与环境背景特征相差较大的道路目标检测,很难适用于背景环境复杂的无人机航拍图像。文献[16]提出了基于启发式搜索连接的航拍图像直线检测方法,首先对图像进行高斯滤波和边缘检测,然后利用启发式搜索连接,提取出符合道路直线模型的直线,最终获得检测结果。该算法实现简单并具有良好的抗噪性能。文献[17]提出了基于霍夫变换的航拍图像道路检测,霍夫直线检测作为直线提取的经典算法,广泛应用于直线检测领域。文献[18]针对道路颜色与周围环境颜色存在明显区别的情况,提出了基于颜色识别的道路检测,但航拍图像受屋顶、树木阴影、车辆等影响较大,不适合应用此方法。随着深度学习的发展,出现了多种基于神经网络[19-20]的航拍图像道路提取方法,主要分为两类:一类追求图像分割的准确性,牺牲了时间;另一类则以快速为主,降低了准确性。为了兼顾时间与准确性,本文采用时间与准确性均衡的D-LinkNet 语义分割神经网络[21]。

其次,通过图像拼接实现大范围场景的获取,在图像拼接领域,Szeliski 提出了包含相机三维旋转运动的图像拼接技术,该方法首先求解透视矩阵,然后求解单应性矩阵的参数,调整焦距和旋转矩阵以消除累积误差,最后采用加权融合的方法将拼接图像合成到一起。Brown 等[22-23]使用基于不变局部特征的物体识别技术来选择匹配图像,实现了无序图像的全自动拼接,取得了较好的拼接效果。然而,当图像数目较多时,边缘图像会发生畸变。为了解决这个缺陷,Gao 等[24]将场景划分为背景平面和前景平面,用两个单应性矩阵分别对齐背景和前景,进而无缝拼接大部分现实场景。随后,文献[25]采用网格优化的方法来解决图像拼接问题,从形状矫正的角度出发,借鉴图像缩放的Shape-Preserving 类方法,非重叠区域逐渐过渡到全局相似变换,并对整个图像 增加相似变换约束,矫正拼接图像的畸变,减小了投影失真。Lowe[26-27]提出了尺度不变特征变换(Scale-Invariant Feature Transform, SIFT)算法,其具有尺度不变性,可在图像中检测出关键点,对于光线、噪声、微视角改变的容忍度也相当高,但SIFT 算法计算量大,匹配速度较慢。因此,Bay 等[28]提出了快速鲁棒特征(Speeded Up Robust Features, SURF)算法,它是SIFT 算法的加速版,其性能可与SIFT 相媲美,且比SIFT 快三倍。SURF 善于处理模糊和旋转的图像,但不擅长处理视点变化和照明变化。为解决SIFT 特征的高昂计算代价以及对噪声敏感的弱点,Rublee 等[29]提出了特征提取算法(Oriented FAST and Rotated BRIEF,ORB),该算法基于FAST 和BRIEF 特征提出了二值特征,大大减少了计算量,提高了匹配速度,实验表明,ORB 算法在时间上比SIFT 快100 倍,比SURF 快10 倍,并且匹配效果也较好。在道路分割后进行图像拼接,可减少拼接时提取特征点的数量,大大减少了匹配拼接的计算量。除此之外,为了进一步提高匹配速度,本文设计了基于GPU 加速的ORB 图像拼接算法,可以兼顾实时性与准确性。