近年来,无人机逐渐开始应用于水文监测、工程测绘、洪水监测、水污染调查等诸多领域,图1和图2展示了两种不同的无人机工作场景。
![](http://pro3982d6.pic37.websiteonline.cn/upload/kpyd_211229_1.jpg)
图1 无人机正在进行河流环境监测
图2 无人机正在测量河流上方的水温
与传统的遥感和人工观测方法相比,无人机可以更接近目标,获取更丰富、更准确的数据。根据 GNSS(全球导航卫星系统)和机载控制器,从地面站向无人机发送任务路线非常简单。然后它可以跟随GNSS航点完成测绘探索任务。在各类任务中,目前大部分水利无人机已经实现了基本的GNSS自动驾驶飞行。
与其他行业的应用相比,水利无人机必须飞得更接近目标才能更好地观察和行动,尤其是在灾害搜救环境和水质监测场景中。可以说,离得越近,就越真实。然而,大多数机载飞行控制系统严重依赖GNSS和IMU进行导航和控制,不具备主动导航的能力。随着图像传感器和计算机视觉技术的发展,许多学者研究开始关注相机特别是立体相机,(因为)它可以轻松获取图像和深度数据。
本篇介绍一款双目立体相机,轻巧小巧。计算两帧图像的视差信息后,得到深度图像和点云数据。然后提出了一种用于环境感知的障碍物提取方法。最后,在通用GNSS航点导航规则的基础上,引入Bezier曲线产生避障路径。所提出的方法可以很容易地与常见的飞行控制器集成,然后提供环境感知和避障能力。
定制的立体相机如图3所示,其中有两个Micron MT系列全局快门COMS传感器。然后对左右传感器的图像进行校准后,我们可以同时得到两帧图像,示例图像如图4所示。我们可以看到一个真实世界的物体出现在两个图像上的不同位置。这种差异称为差异。并且当相机到物体的距离变大时,视差会减小。
图3 立体视觉深度计算图
![](http://pro3982d6.pic37.websiteonline.cn/upload/kpyd_211229_4.jpg)
图4 相机的两帧图像(左图来自左传感器,右图来自右传感器)
我们必须首先计算视差 ( x l – x r )。由于计算机视觉技术的发展,图像匹配可以通过多种方式轻松完成。考虑到计算速度和精度,采用7像素×7像素窗口的绝对差和(SAD)算法。在实验中,它可以在 NVIDIA TX1 嵌入式板上轻松处理每秒 10 帧。视差结果图如图5所示,颜色越暖,视差结果越大。
![](http://pro3982d6.pic37.websiteonline.cn/upload/kpyd_211229_5.jpg)
图5 视差图
使用视差数据,我们可以获得深度值,也可以获得点云数据。图 6和图 7 分别显示了深度图像和点云数据。
![](http://pro3982d6.pic37.websiteonline.cn/upload/kpyd_211229_6.jpg)
图6 深度图像
![](http://pro3982d6.pic37.websiteonline.cn/upload/kpyd_211229_7.jpg)
图7 点云数据
立体相机安装在旋翼无人机的顶部,如图8所示。该六轴飞行器还配备了控制器和GNSS模块,使无人机按照规划的GNSS航点实现自主飞行。
立体相机安装在旋翼无人机的顶部,如图8所示。该六轴飞行器还配备了控制器和GNSS模块,使无人机按照规划的GNSS航点实现自主飞行。
![](http://pro3982d6.pic37.websiteonline.cn/upload/kpyd_211229_8.jpg)
图8 实验性六轴飞行器
如果体素网格不包含地面信息,则将其视为障碍物。一些结果可以在图 9 中看到-图11,每张图的第一部分是原始数据,第二部分是障碍物,第三部分是提取的地面。可以根据这些数据轻松构建用于导航的 3D 占用地图。
图9a 场景1的原始点云
![](http://pro3982d6.pic37.websiteonline.cn/upload/kpyd_211229_10.jpg)
图9b 场景1的障碍物提取结果
![](http://pro3982d6.pic37.websiteonline.cn/upload/kpyd_211229_11.jpg)
图9c 场景1的地面提取结果
![](http://pro3982d6.pic37.websiteonline.cn/upload/kpyd_211229_12.jpg)
图10a 场景2的原始点云
![](http://pro3982d6.pic37.websiteonline.cn/upload/kpyd_211229_13.jpg)
图10b 场景2的障碍物提取结果
![](http://pro3982d6.pic37.websiteonline.cn/upload/kpyd_211229_14.jpg)
图10c 场景2的地面提取结果
![](http://pro3982d6.pic37.websiteonline.cn/upload/kpyd_211229_15.jpg)
图11a 场景3的原始点云
图11b 场景3的障碍物提取结果
图11c 场景3的地面提取结果
当找到周围的障碍物时,可以构建 3D 占用网格图。3D 空间中
的路径规划会引起沉重的计算负担,并且飞行控制器在两个相邻航路点之间生成的 GNSS 路径始终在一条线上。在图12中,红色圆圈为下一个航点,绿色直线为飞控预先规划的路径。因此,这里使用 XY 平面上的 2D 网格图来确定这些障碍物是否位于计划路径上。占用网格图的分辨率选择为5m×5m。如图12所示,如果网格单元不包含障碍物,则以白色填充;否则,由黑色实现。
![](http://pro3982d6.pic37.websiteonline.cn/upload/kpyd_211229_18.jpg)
图12 航路点和障碍物的插图
对于无人机,规划路径必须足够平滑,并满足安全飞行限制,如最大速度、最大加速度、最大角速度和最大角加速度。在此,提出了一种基于贝塞尔曲线的路径规划算法。如图13所示,新生成的路径由两条贝塞尔曲线组成。控制点也清晰显示。
![](http://pro3982d6.pic37.websiteonline.cn/upload/kpyd_211229_19.jpg)
图13 所提出的路径规划方法的说明
本文提出了一种完整高效的水利无人机视觉导航解决方案,包括立体传感器、数据处理和计算、环境感知和平滑路径规划算法。所提出的方法都能够进行机载处理。
源自:9th International Conference on Information Science and Technology (ICIST), Hulunbuir, Inner Mongolia, China; August 2-5, 2019