二、AR与无人机的关键技术问题

AR与无人机已在安防领域应用多年，其各自的核心技术不再赘述，本文仅围绕 AR 与无人机融合应用可能面临的一些关键技术问题进行简单的探讨。

1.无人机AR化

普通的监控无人机挂载了高清视频摄像头， 向监控中心传输的实时视频中并不包含 AR 标签信息。为了实现 AR 功能，需要对无人机进行 AR 化升级改造，利用主流型号无人机可运行第三方APP 的特性，开发无人机AR 化升级组件，通过SDK 获取无人机的实时视频流、控制指令，以及各种参数如航向角度、云台俯仰角度、姿态信息、横滚角度、位置坐标等，并通过 GB/T 28181 协议接入到监控系统平台中，经过坐标换算之后，可以实现视频画面和 AR 标签信息的位置配准。

无人机经过 AR 化升级改造后，具备在实时视频画面中添加静态标签、GPS 动态标签的功能， 不仅可对静态目标进行标注及跟随，还可支持在画面中以动态标签方式标注 GPS 移动设备的实时位置，例如执法仪、警务通、对讲机对应的警力坐标信息等，极大地提高了实景指挥的实际效果。

2.视频目标定位

对于普通的高点或低点AR 摄像机来说，需要确定视频画面目标在实际场景中的经纬度信息，才能在画面中精确地显示该目标所对应的 AR 标签。通常可以根据摄像机标定位置的经纬度、高度、姿态等， 经过空间换算，推算出目标坐标所对应的实际经度和纬度，从而实现视频画面中具体目标的定位。

但在实际应用中，摄像机可能出现安装误差，例如机芯安装不正导致光心方向与摄像机重心方向不垂直，造成摄像机的垂向和垂度发生变化，导致摄像机坐标系与真实地理方位之间存在一定的偏差，需要进行纠正。普通 AR 摄像机难以对这种偏差进行测量，而无人机装配用于飞行姿态控制的陀螺仪、磁力计等高精度传感器，提供了精确的姿态和角度信息，可以较好地对视频目标定位偏差进行校准。

基于对视频画面目标的精确定位，就可以在画面中的建筑物、警力资源、视频资源等目标之上融合显示对应的 AR 标签，并且随着无人机的移动而变化，实现实时的 AR 标签跟随。

3.跨视频动态目标识别

由于无人机的灵活性和移动性，极大地拓展了视频监控的覆盖范围，应用场景也向着多视角、多层次的趋势发展，因此要求能对跨视频动态目标进行准确的识别和追踪，并在多个摄像头的视频画面中，对同一目标进行统一的 AR 标签呈现，实现多视角协同监控。

行人或其行为事件是其中的重要监测目标，在不同的视频视角中，行人的时空、尺寸、外观等信息均可能会产生变化，在信息变化条件下建立其关联性，是跨视频行人识别和异常行为事件检测的核心问题。可以通过融合行人外观、动作、步态等多属性分析，建立鲁棒行人特征表达模型。基于行人多属性特征表达，结合深度度量学习方法，建立跨视频的行人重识别模型，从而完成跨视频、跨时空的监测目标关联。在此基础上，实现多目标物体在跨视频场景下的跨时空跟踪与轨迹构建，从而对视频内行人异常行为进行检测定位与跟踪。