​微信公众号
手机版
​​新浪微博
会员登录
关于我们  |   商务合作  |  友情链接   |  意见反馈  |  人才招聘
北京云翼同创科技有限公司 深圳高博特文化发展有限公司   版权所有,并保留所有权利 © 2018 京ICP备16044150号-1                       

跨界 · 融合 · 服务 · 创新



双击此处添加文字
新闻聚焦
行业技术
首页  >  新闻聚焦   >  行业技术  >   详情
多无人系统协同中的人工智能安全探索
来源:AUVSC | 作者:施文,王楷文,俞成浦,孙健,陈杰 | 发布时间: 2021-07-29 | 13576 次浏览 | 分享到:
无人系统参与应急救援工作除了空中侦察,空地协同,高空喊话救援、中继通讯、云巡平台远程管理等功能也得到充分发挥....

随着多无人系统的飞速发展,很多发达国家目前正积极推进智能多无人系统安全框架研究以及法案的制定。美国在多无人系统中的人工智能安全方面的研究以及政策发布非常频繁,2019年6月,美国更新了《国家人工智能研究和发展战略计划》,将人工智能系统安全列为战略目标之一[7];2020年1月发布的《人工智能应用监管指南备忘录(草案)》提出了人工智能十项监管原则[8];2020年3月通过的《2020年国家人工智能计划法案》支持对无人系统的道德、法律、社会等安全问题展开研究[9];2020年11月更新的《人工智能和国家安全》中详细写明了智能多无人系统在军事上的发展与伦理安全问题[10]。

欧盟方面同样在智能无人系统安全上展开了积极研究以及政策制定,欧盟各成员国都纷纷出台法律法规以规范无人机运行。法国自2019年7月起规定无人机必须注册电子账号;德国规定所有无人机必须在机身刻上所有者的姓名与地址;英国把机场附近的无人机禁飞区半径从原来的1 km增加到5 km;西班牙、葡萄牙、意大利等国都禁止无人机在夜间飞行。2019年初,欧盟委员会发布了《关于欧洲人工智能开发与使用的协同计划》,将人工智能安全列为了一大关键发力领域,在全球人工智能伦理道德领域占据了领先地位[11];2019年4月,欧盟委员会发布了《人工智能伦理准则——可信AI伦理指南》,提出了可信AI的七大原则[12];2020年6月,欧盟新发布的无人机通用准则在欧盟全境正式启用,该准则取代了欧盟成员国各自的现行法规,为欧洲发展无人机行业提供了明确、统一的规则[13]。

我国的多无人系统相关法案制定也在逐步推进。2017年7月,我国国务院首次颁布的人工智能战略性文件《新一代人工智能发展规划》,提出了2030年人工智能核心产业规模应超过1万亿元,带动相关产业规模超过10万亿元的目标,并对多无人系统协同中的人工智能基础理论框架给出了定义,提出了“加强人工智能相关法律、伦理和社会问题研究,建立保障人工智能健康发展的法律法规和伦理道德框架”[2]。但该框架在自主协同控制与优化决策理论的定义中,更侧重于协同控制的实现与优化,对于多无人系统中可能存在的安全性隐患没有较多阐述。2020年12月,中国信息通信研究院安全研究所发布了《人工智能安全框架(2020年)》,制定了一个较为全面的人工智能安全框架,但其中对于多无人系统协同中特有的安全问题表述仍不详细 [3]。

  四、多无人系统协同面临的挑战  

区别于传统无人系统研究,多无人系统协同的核心要素包括通信交互,合作博弈,以及群体智能演化等。结合多无人系统协同的上述特点,坚持以问题为导向分析其具体战略举措,围绕多无人系统本身的内生安全和多无人系统对外界的衍生安全两大模块构建了多无人系统协同中的人工智能安全框架,如图1所示。

图1 多无人系统协同中的人工智能安全框架

(一)内生安全

为了多无人系统任务的可靠执行,内生安全主要考虑的是系统本身是否稳定可靠,能否在通信交互过程中不泄密,能否保证控制权始终在自己手中,以及能否在出现故障后继续完成任务。多无人系统协同的内生安全要关注多无人系统工作的各个环节,从保证局部每个环节的安全以确保整体的安全,这其中涵盖了各无人系统单体间交互的数据安全、多无人系统所处的网络安全、搭载于多无人系统的软件及其算法安全、多无人系统本身的系统架构安全等。多无人系统协同的内生安全包括了通信与交互安全、协同决策与集群演化算法安全和系统架构安全三部分。

1.通信与交互安全

多无人系统协同任务在执行过程中,需要频繁的进行通信交互,这其中包括各多无人系统个体之间的交互,还包括各多无人系统与其所有者之间的交互,多无人系统与各种实体任务对象交互等。因此,通信与交互安全是多无人系统协同内生安全的重要内容。通信网络安全的主旨是防范来自网络的攻击,保障多无人系统所有者能够安全可靠地控制多无人系统,保证数据不被窃取和篡改。一方面,多无人系统的协同中需要保障彼此之间的通信安全可靠,一旦数据传播受到截断,信息内容被他人窃取、解密或篡改,多无人系统将受到极大的威胁,我方战略意图也将受到严重打击。另一方面,如果通信网络的安全性不能满足要求,则多无人系统的控制权将不能得到保障,由于多无人系统极强的行为能力,与单纯的各种数据损失相比较,控制权不安全造成的后果往往更严重[14,15]。

针对上述多无人系统存在的数据泄露及控制权丢失的问题,为系统个体搭载不可被外界直接访问的安全存储空间,对数据进行加密处理,保证通信过程中的数据安全;同时可以采用数字证书、密钥等认证材料进行双向的远程身份认证,以确保系统中每个个体身份的合法性以及指挥部的可信性 [16,17]。

2.协同决策与集群演化算法安全

在算法安全上,一方面要考虑多无人系统能否做出正确的决策,另一方面更要考虑协同决策算法和自学习演化的方向是否自主可控。决策算法不成熟可能导致协同欠鲁棒,难以实现临机协同决策和行动,当系统结构受外界影响发生变化时,智能协同算法如未能实时完成控制和优化,则很难实现精准的协同控制任务,使协同一致性和稳定性降低,从而增加了协同任务失败和多无人系统在任务中损毁的风险。在未来的发展中,基于群体智能演化的多无人系统能够自主学习和换代,其演化方向的安全性更为重要,将成为多无人系统协同中算法安全的全新挑战。