​微信公众号
手机版
​​新浪微博
会员登录
关于我们  |   商务合作  |  友情链接   |  意见反馈  |  人才招聘
北京云翼同创科技有限公司 深圳高博特文化发展有限公司   版权所有,并保留所有权利 © 2018 京ICP备16044150号-1                       

跨界 · 融合 · 服务 · 创新



双击此处添加文字
新闻聚焦
行业技术
首页  >  新闻聚焦   >  行业技术  >   详情
基于YOLO的无人机技术:研究综述及其应用
来源:尖兵之翼 | 作者:高博特 | 发布时间: 2023-03-29 | 3452 次浏览 | 分享到:
无人机(UAV)或空中机器人正处于快速发展时期,基于YOLO算法的目标检测性能在工业上已达到较高水平,该算法仍需要不断改进……


目前,无人机(UAV)或空中机器人正处于快速发展时期,基于YOLO算法的目标检测性能在工业上已达到较高水平,该算法仍需要不断改进。无人机可以携带各种设备来完成不同的任务。这些任务的例子包括喷洒液体药物,测绘,物流运输,灾害管理,航空摄影以及播种肥料或种子。基于YOLO算法的物体检测技术已经能够实现人类行为分析,面罩识别,医疗诊断分析,自动驾驶,交通评估,多目标跟踪和机器人视觉。然而,无人机面临复杂的场景或工作需要与地面控制终端保持良好的数据通信,因此无人机技术的创新和发展可能会受到某些应用环境的限制。然而,无人机面临复杂的场景或工作需要与地面控制终端保持良好的数据通信,因此无人机技术的创新和发展可能会受到某些应用环境的限制。此外,基于YOLO算法的目标检测技术需要部署到高性能处理器中,并与图像或视频数据结合使用,这对使用场景提出了一定的要求。这两种技术可以结合起来,创造出一种新技术——基于YOLO的无人机技术(YBUT)。无人机为YOLO算法提供了更多的应用场景,YOLO算法可以帮助无人机完成更多新颖的任务。通过这种方式,无人机技术和YOLO算法可以进一步促进人们的日常生活,同时为各自行业的生产力做出贡献。

随着无人机技术的不断成熟,世界各国的无人机数量每年都在增加,根据全球商用无人机的年销量和销量统计,如图1所示,到2025年,全球将有约679,000架无人机,市场规模约为5亿美元。全球无人机数量如此之多,如果无人机可以作为空中平台部署YOLO算法,就有可能使无人机更有价值。

图1 全球商用无人机年销量和销量统计

YOLO是一种广泛使用的深度学习算法,因为它是一种基于分类/回归的对象检测方法,赋予算法核心优势:结构非常简单,模型体积小,计算速度快。自引入YOLO以来(截至2023年2月)经过七年的发展,研究人员发布了YOLO算法的七个版本。基于YOLO的目标检测算法的机制是将输入图像调整为相同的大小,然后将图像分成大小相等的S×S网络单元,每个单独的网络单元都可以检测其中的对象。如果检测到的目标的中心落入网络像元中,则该网络像元将对目标进行预测。每个网络小区可能有N个检测框,每个检测框不仅计算自己的位置,还做出预测分数。分数表示检测目标存在于预测网络单元中的可能性。由于网络单元中可能有多个框,YOLO将自动选择得分最高的目标类别进行预测,如图2所示。

图2 基于YOLOv7的无人机技术架构图(BN:批量归一化层;AF:激活函数层)

利用中英文搜索引擎(如Web of Science、中国国家知识基础设施)对检索结果进行分析,得到中英文期刊在相关领域的主要研究主题。迄今为止,计算机视觉技术已经开发了各种各样的算法,其中YOLO算法是在2016年提出的,然后在2017年由Jiang等人首次应用,他们将YOLO算法与无人机相结合。此后,YOLO算法和无人机融合技术不断发展,相关研究成果或应用激增。该技术也已从探索性实验转变为学术研究热点(见图3)。

图3 在顶级期刊和会议上发表的论文数量(2017-2022)

根据我们对YBUT应用领域的调查,英文期刊中该领域热门话题的信息汇总为饼图,如图4中的调查结果所示。从饼图可以看出,热门话题主要集中在技术研究、工程和运输等行业,发表的论文或会议文献的数量代表了研究人员的兴趣。我们还调查了该领域热门话题的中国期刊,发现它们更关注技术研究、工程和自动化领域。随着无人机技术和YOLO算法的不断发展,这项技术开始在大多数领域进行探索,在少数领域,已经取得了一些成功。YBUT的发展和研究一直是顶级期刊和会议的热门话题,现在该技术的实际应用正逐渐引起他们的兴趣。

 

图4 YBUT的应用领域调查:(a)英文期刊的热门领域,(b)中文期刊的热门领域

在YBUT应用的早期阶段,主要工作机制是通过无人机采集图像或视频数据,然后由运行基于YOLO的目标检测算法的计算机进行目标检测,识别和分类。为了探索从无人机捕获的图像中检测车辆的方法,以应用于交通监控和管理,并且由于深度学习算法在目标检测中显示出显着的优势,研究人员尝试将基于YOLO的目标检测算法应用于无人机图像中的车辆检测。Jiang等在无人机上集成了热红外成像传感器和可见光成像传感器,构建了多源数据采集系统,通过特征点提取和单响应矩阵方法对图像进行校正和对齐,然后对多源数据进行图像融合。最后,他们利用深度学习YOLO算法进行数据训练和车辆检测(见图5)。

 

图5 Jiang等人提出的方法流程图

此外,Ruan等人试图使用深度学习和基于视觉的drogue检测和定位方法来解决复杂环境中无人机自主空中加油雾滴的准确检测和定位问题。他们使用经过训练的YOLO算法进行锥形轨迹检测,在确定基准位置后使用最小二乘椭圆拟合来确定椭圆的长半轴,最后使用单目视觉相机进行椎体下垂定位(见图6)。

 

图6 Drogue检测方法

随着YBUT的不断发展,新一代无人机配备了丰富的计算资源高性能处理器,其中部署了基于YOLO的目标检测算法,允许处理器在无人机收集数据时实时检测,识别和分类任务对象。Zhang等人为了探索新一代技术的可行性,将YOLOv3算法嵌入到资源有限的NVIDIA Jason TX1平台环境中(见图7),并让无人机携带嵌入式平台进行实时行人检测实验。