​微信公众号
手机版
​​新浪微博
会员登录
关于我们  |   商务合作  |  友情链接   |  意见反馈  |  人才招聘
北京云翼同创科技有限公司 深圳高博特文化发展有限公司   版权所有,并保留所有权利 © 2018 京ICP备16044150号-1                       

跨界 · 融合 · 服务 · 创新



双击此处添加文字
科普园地
首页  > 新闻聚焦 > 科普园地  >  详情 
基于立体相机的水利无人机视觉导航
来源:尖兵之翼 | 作者:飞思实验室 | 发布时间: 2021-12-29 | 2577 次浏览 | 分享到:
无人机逐渐开始应用于水文监测、工程测绘、洪水监测、水污染调查等诸多领域,图1和图2展示了两种不同的无人机工作场景......

近年来,无人机逐渐开始应用于水文监测、工程测绘、洪水监测、水污染调查等诸多领域,图1和图2展示了两种不同的无人机工作场景。

 

图1 无人机正在进行河流环境监测

 

图2 无人机正在测量河流上方的水温

与传统的遥感和人工观测方法相比,无人机可以更接近目标,获取更丰富、更准确的数据。根据 GNSS(全球导航卫星系统)和机载控制器,从地面站向无人机发送任务路线非常简单。然后它可以跟随GNSS航点完成测绘探索任务。在各类任务中,目前大部分水利无人机已经实现了基本的GNSS自动驾驶飞行。

与其他行业的应用相比,水利无人机必须飞得更接近目标才能更好地观察和行动,尤其是在灾害搜救环境和水质监测场景中。可以说,离得越近,就越真实。然而,大多数机载飞行控制系统严重依赖GNSS和IMU进行导航和控制,不具备主动导航的能力。随着图像传感器和计算机视觉技术的发展,许多学者研究开始关注相机特别是立体相机,(因为)它可以轻松获取图像和深度数据。

本篇介绍一款双目立体相机,轻巧小巧。计算两帧图像的视差信息后,得到深度图像和点云数据。然后提出了一种用于环境感知的障碍物提取方法。最后,在通用GNSS航点导航规则的基础上,引入Bezier曲线产生避障路径。所提出的方法可以很容易地与常见的飞行控制器集成,然后提供环境感知和避障能力。

定制的立体相机如图3所示,其中有两个Micron MT系列全局快门COMS传感器。然后对左右传感器的图像进行校准后,我们可以同时得到两帧图像,示例图像如图4所示。我们可以看到一个真实世界的物体出现在两个图像上的不同位置。这种差异称为差异。并且当相机到物体的距离变大时,视差会减小。

 

图3 立体视觉深度计算图

 

图4 相机的两帧图像(左图来自左传感器,右图来自右传感器)

我们必须首先计算视差 ( x l – x r )。由于计算机视觉技术的发展,图像匹配可以通过多种方式轻松完成。考虑到计算速度和精度,采用7像素×7像素窗口的绝对差和(SAD)算法。在实验中,它可以在 NVIDIA TX1 嵌入式板上轻松处理每秒 10 帧。视差结果图如图5所示,颜色越暖,视差结果越大。

 

图5 视差图

使用视差数据,我们可以获得深度值,也可以获得点云数据。图 6和图 7 分别显示了深度图像和点云数据。

 

图6 深度图像

 

图7 点云数据

立体相机安装在旋翼无人机的顶部,如图8所示。该六轴飞行器还配备了控制器和GNSS模块,使无人机按照规划的GNSS航点实现自主飞行。

立体相机安装在旋翼无人机的顶部,如图8所示。该六轴飞行器还配备了控制器和GNSS模块,使无人机按照规划的GNSS航点实现自主飞行。

 

图8 实验性六轴飞行器

如果体素网格不包含地面信息,则将其视为障碍物。一些结果可以在图 9 中看到-图11,每张图的第一部分是原始数据,第二部分是障碍物,第三部分是提取的地面。可以根据这些数据轻松构建用于导航的 3D 占用地图。

 

图9a 场景1的原始点云

 

图9b 场景1的障碍物提取结果

 

图9c 场景1的地面提取结果

 

图10a 场景2的原始点云

 

图10b 场景2的障碍物提取结果

 

图10c 场景2的地面提取结果

 

图11a 场景3的原始点云

 

图11b 场景3的障碍物提取结果

 

图11c 场景3的地面提取结果

当找到周围的障碍物时,可以构建 3D 占用网格图。3D 空间中

的路径规划会引起沉重的计算负担,并且飞行控制器在两个相邻航路点之间生成的 GNSS 路径始终在一条线上。在图12中,红色圆圈为下一个航点,绿色直线为飞控预先规划的路径。因此,这里使用 XY 平面上的 2D 网格图来确定这些障碍物是否位于计划路径上。占用网格图的分辨率选择为5m×5m。如图12所示,如果网格单元不包含障碍物,则以白色填充;否则,由黑色实现。

 

图12 航路点和障碍物的插图

对于无人机,规划路径必须足够平滑,并满足安全飞行限制,如最大速度、最大加速度、最大角速度和最大角加速度。在此,提出了一种基于贝塞尔曲线的路径规划算法。如图13所示,新生成的路径由两条贝塞尔曲线组成。控制点也清晰显示。

 

图13 所提出的路径规划方法的说明

本文提出了一种完整高效的水利无人机视觉导航解决方案,包括立体传感器、数据处理和计算、环境感知和平滑路径规划算法。所提出的方法都能够进行机载处理。

源自:9th International Conference on Information Science and Technology (ICIST), Hulunbuir, Inner Mongolia, China; August 2-5, 2019