​微信公众号
手机版
​​新浪微博
会员登录
关于我们  |   商务合作  |  友情链接   |  意见反馈  |  人才招聘
北京云翼同创科技有限公司 深圳高博特文化发展有限公司   版权所有,并保留所有权利 © 2018 京ICP备16044150号-1                       

跨界 · 融合 · 服务 · 创新



双击此处添加文字
新闻聚焦
行业技术
首页  >  新闻聚焦   >  行业技术  >   详情
多无人系统协同中的人工智能安全探索
来源:中国工程院院刊 | 作者:战略前沿技术 | 发布时间: 2022-12-05 | 3994 次浏览 | 分享到:
统筹推进多无人系统协同赋能应用与风险防控的重大意义,提出了“四位一体”全面推进多无人系统协同安全发展的战略思路…...


四、多无人系统协同面临的挑战

区别于传统无人系统研究,多无人系统协同的核心要素包括通信交互,合作博弈,以及群体智能演化等。结合多无人系统协同的上述特点,坚持以问题为导向分析其具体战略举措,围绕多无人系统本身的内生安全和多无人系统对外界的衍生安全两大模块构建了多无人系统协同中的人工智能安全框架,如图 1 所示 

图1 多无人系统协同中的人工智能安全框架

(一)内生安全

为了多无人系统任务的可靠执行,内生安全主要考虑的是系统本身是否稳定可靠,能否在通信交互过程中不泄密,能否保证控制权始终在自己手中,以及能否在出现故障后继续完成任务。多无人系统协同的内生安全要关注多无人系统工作的各个环节,从保证局部每个环节的安全以确保整体的安全,这其中涵盖了各无人系统单体间交互的数据安全、多无人系统所处的网络安全、搭载于多无人系统的软件及其算法安全、多无人系统本身的系统架构安全等。多无人系统协同的内生安全包括了通信与交互安全、协同决策与集群演化算法安全和系统架构安全三部分。

1. 通信与交互安全

多无人系统协同任务在执行过程中,需要频繁的进行通信交互,这其中包括各多无人系统个体之间的交互,还包括各多无人系统与其所有者之间的交互,多无人系统与各种实体任务对象交互等。因此,通信与交互安全是多无人系统协同内生安全的重要内容。通信网络安全的主旨是防范来自网络的攻击,保障多无人系统所有者能够安全可靠地控制多无人系统,保证数据不被窃取和篡改。一方面,多无人系统的协同中需要保障彼此之间的通信安全可靠,一旦数据传播受到截断,信息内容被他人窃取、解密或篡改,多无人系统将受到极大的威胁,我方战略意图也将受到严重打击。另一方面,如果通信网络的安全性不能满足要求,则多无人系统的控制权将不能得到保障,由于多无人系统极强的行为能力,与单纯的各种数据损失相比较,控制权不安全造成的后果往往更严重。针对上述多无人系统存在的数据泄露及控制权丢失的问题,为系统个体搭载不可被外界直接访问的安全存储空间,对数据进行加密处理,保证通信过程中的数据安全;同时可以采用数字证书、密钥等认证材料进行双向的远程身份认证,以确保系统中每个个体身份的合法性以及指挥部的可信性。

2. 协同决策与集群演化算法安全

在算法安全上,一方面要考虑多无人系统能否做出正确的决策,另一方面更要考虑协同决策算法和自学习演化的方向是否自主可控。决策算法不成熟可能导致协同欠鲁棒,难以实现临机协同决策和行动,当系统结构受外界影响发生变化时,智能协同算法如未能实时完成控制和优化,则很难实现精准的协同控制任务,使协同一致性和稳定性降低,从而增加了协同任务失败和多无人系统在任务中损毁的风险。在未来的发展中,基于群体智能演化的多无人系统能够自主学习和换代,其演化方向的安全性更为重要,将成为多无人系统协同中算法安全的全新挑战。针对上述问题,改进决策算法的训练过程,揭示无人系统集群的协同演化规律,设计主动防御的机制,在训练过程中加入大量可能出现的对抗样本,即在训练过程中添加假想敌,从而提高算法的鲁棒性,减少协同控制任务失败以及演化方向错误的可能性,更加安全可靠地实现协同决策和演化。

3. 系统架构安全

系统架构安全可细分为机电安全和拓扑安全两个方面。其中,机电安全要考虑多无人系统中每个个体的信息收发特性、信息处理能力是否足够,传感器、通信模块能否满足执行协同任务的需求。拓扑安全则是建立在机电安全的基础上,需要考虑多无人系统的整体响应速度和协同模式,能否在复杂场景下实时采集、处理和交换信息,进一步正确分配和执行任务,并且在部分无人系统单体出现故障时,能否正确检测故障,进行拓扑切换继续任务。建立多层分簇的协同框架可以有效解决系统架构安全问题,多层分簇的框架可以帮助多无人系统在面对变化时快速做出反应,即使遇到故障也能实现拓扑切换,继续完成好下一步任务,从而使得网络拓扑结构更加稳定,实现更加稳健和鲁棒的多无人系统协同。

(二)衍生安全

多无人系统协同的衍生安全主要考虑的是多无人系统在投入使用后,系统外部的人或其他事物可能面临的影响。在系统出现故障、受到干扰或出现决策失误时,除了任务失败和系统本身损毁的风险外,还可能引发衍生安全问题。同时,如果多无人系统控制权的所有者怀有恶意,对多无人系统下达了带有其不良企图的任务目标,可能产生更为严重的衍生安全风险。多无人系统协同中的人工智能衍生安全主要考虑公共安全、伦理安全和军事安全三个方面。

1. 公共安全

多无人系统协同工作时,事故的发生将会危害公共安全,不但会对社会秩序造成一定影响,更有可能会威胁到人身财产安全。当前多无人机协同系统在各行各业广泛使用,但安全性能评估体系还未完善,易出现各种事故,例如各种外界干扰导致的无人机群演示失败、无人车造成道路交通拥堵等。同时,多无人机协同具有低成本、用途广、使用门槛低、身份信息隐蔽、大面积杀伤等特点,非法使用将会严重威胁到人身财产安全,多无人系统的发展势必会带来新的违法犯罪形式,而与单无人系统相比,多无人系统便于无身份有组织犯罪,会极大地危害公共安全。面对多无人系统可能对社会公共安全带来的冲击,加强监管无疑是最为有效的解决途径。加强对所有无人设备厂商以及持有者的监管,对于厂商严格检查其所有生产线、搭载算法以及设备流通对象,对于所有私人持有的无人设备实行严格的实名制登记管理,让所有合法的无人机拥有其自己的“身份证明”,对于未登记的无人机以及登记但不合法的无人机持有者进行严肃处理。