![](http://pro3982d6.pic37.websiteonline.cn/upload/hy_220516_1.jpg)
自主无人机可以实现自给自足的任务完成,但要做到这一点,它们需要精确、快速的避障算法,这样它们才能在不危及自身或周围环境的情况下运行。这里提出了一种生物驱动的视觉系统,它模仿哺乳动物的视网膜和视觉皮层获取视觉线索(对比度和边缘信息)的过程,还包含一个基于 U-Net的神经网络处理创建的数据。要实现障碍物识别和避障,必须完成三个主要任务:1)视觉线索提取,2)学习后的障碍物识别,3)基于识别的导航。为了对特征提取中生物系统的过程进行建模,实施了对视网膜和初级视觉皮层的功能和结构进行建模的算法。为了实现学习和自主障碍物检测,创建了一个数据集并标注了一个预定义的障碍物,用于训练神经网络。
生物动机图像预处理
现有的计算机视觉算法以及生物视觉系统提取视觉线索,例如对比度、边缘和运动信息。在提议的实现中,使用对哺乳动物视网膜和初级视觉皮层中的过程进行建模的算法提取了两种主要特征类型(对比度和边缘信息)(示例输出在图1中)。图像也被缩小以过滤它并提高处理速度。生成的输出类似于初级视觉皮层中获得的信息,其中皮层列分别从具有不同方向的边缘收集信息。各种预处理图像的示例如图 1所示。
![](http://pro3982d6.pic37.websiteonline.cn/upload/hy_220516_2.jpg)
图1 处理后的输出图像示例:六种不同的对比度图像[从上到下和从左到右:棒状图像处理(灰度图像),无长突图像处理(灰度图像),蓝锥图像处理(基于蓝色通道)、红绿辨别(基于红色和绿色通道)、黄蓝辨别(基于红色、绿色和蓝色通道)和所有锥体辨别(所有颜色通道的平均值)
使用神经网络的障碍物识别
下一个目标是教无人机自主避开预定义的障碍物,U-net 网络结构被用作神经网络的基础。创建这个卷积神经网络是为了解决生物医学图像的分割任务。U-net包含收缩(下采样)和扩展部分。扩展部分包含特征图上采样,然后是2×2卷积和两个3×3卷积。它以最终卷积结束以获得所需的输出形状。下采样部分的所有级别都被裁剪并连接到扩展部分的等价物。详细的层结构如图2所示。
![](http://pro3982d6.pic37.websiteonline.cn/upload/hy_220516_3.jpg)
图2 为使用预处理图像进行训练而构建的网络结构。蓝色列表示层之间的卷积(及其维度),而红色箭头表示层之间的连接。
神经网络是使用Tensorflow 构建的。为训练和测试目的创建并标注了新的原始数据。为此,使用 Tello Edu无人机捕获了飞行视频,这些视频后来被分割成帧。LabelMe用于标注图像上的显示面板(图3)。由于U-net的优势在于它比其他卷积网络需要更少的图像,因此我们标注了中等数量的图像(1534)。
![](http://pro3982d6.pic37.websiteonline.cn/upload/hy_220516_4.jpg)
图3 使用LabelMe标注的图像示例,显示面板分别标记
网络使用各种设置进行训练:1) 使用未缩放的预处理数据进行 3000 次迭代;2) 使用未缩放的原始数据进行3000次迭代;3)使用10倍缩减的预处理数据进行3000次迭代;4)使用10倍缩减的预处理数据进行5000次迭代;5) 10000 次迭代,10倍缩小的预处理数据;6) 3000次迭代,10倍缩小的原始数据。根据这些,设置3-6进行了广泛的测试,因为缩小规模被认为是实时应用所必需的,学习率设置为0.001。
![](http://pro3982d6.pic37.websiteonline.cn/upload/hy_220516_5.jpg)
图4 在原始未缩放图像的情况下,训练的神经网络进行的预测示例。两者的效率都低于缩小版,预处理提高了效率
基于神经网络模型输出的导航
为了证明不同障碍物检测变体的可行性,我们使用一个非常简单的情况进行了测试。因此,导航贪心算法与简化版本的视觉伺服一起使用来控制无人机。作为U-net预测的结果,创建了一个地图,其中计算了所有像素的类别。在这些分割的帧中,属于障碍物的像素为逻辑1,属于自由路径的像素为逻辑0。任务是找到自由路径。首先,计算代表自由路径的面板的质心和面积。采用贪心算法根据斑块面积选择跟随路径。这意味着被选择遵循的总是面积最大的。作为示例,图5显示了两个面板的预测和质心的输出。带绿点的那架飞机面积更大,所以飞机紧随其后
![](http://pro3982d6.pic37.websiteonline.cn/upload/hy_220516_6.jpg)
图5 飞行过程中的路径搜索示例。绿点表示路径,被认为是自由的
在没有降尺度训练的模型的情况下,我们只创建了两个模型用于预处理和不进行预处理。结果表明,预处理和缩小规模都提高了效率。此外,输出预测包含较少的噪声,如图6所示。图7和8显示了误报和负像素的百分比以及训练模型的准确率和召回率。
![](http://pro3982d6.pic37.websiteonline.cn/upload/hy_220516_7.jpg)
图6 在缩小图像的情况下,训练的神经网络进行预测的示例。前两行显示了在预处理图像后训练的模型的示例,而下两行显示了未经进一步预处理训练的模型的示例。
![](http://pro3982d6.pic37.websiteonline.cn/upload/hy_220516_8.jpg)
图7 假阳性和阴性像素百分比的散点图。x轴表示假阳性百分比,而y轴表示假阴性百分比。测试集用颜色代码表示,测试类型用形状表示
![](http://pro3982d6.pic37.websiteonline.cn/upload/hy_220516_9.jpg)
图8 精度和召回率的散点图。x轴表示精度,而y轴表示召回率。测试集用颜色代码表示,测试类型用形状表示。
通过测试以检查所提出系统的适用性,为此创建了一个由三个显示面板组成的测试轨道。图9显示了无人机的测试轨道和所需路径。视频流在笔记本电脑上进行处理,并根据计算出的自由路径质心将命令发送回无人机。测试了四个缩小模型(其中一个仅使用图像作为输入进行训练,而三个在进一步预处理后进行训练)。所有模型都包含足够的信息,以便无人机在测试期间可以通过轨道。