瓦力机器人,是一款面向工业应用的视觉检测机器人系统,实现了“5G+AI”全新模式,以机器人及配套软件系统的形态,进行工程建设安全审核,设备巡检和远程点检,提升5G时代工业自动化水平,推动工业互联网的顺利实施,以及智能制造的深化转型。瓦力机器人由信息技术公司自主研发,当前已进入2019年中国移动自主开发大赛半决赛,将于10月10日在贵阳进行路演,欢迎关注。



01、产品背景



1.5G网络快速发展


工业自动化、无人驾驶、网联无人机、远程医疗、智能交通、智能电网等行业的兴起,对通信网络提出了超高可靠性、超低时延、海量连接等特殊场景需求。4G改变生活,5G改变社会,5G不仅仅是带宽的提升,更是一次颠覆性的升级,将人与人之间的通信向万物互联转变,成为整个社会数字化转型的重要基石。


2.智慧工业实际需要


瓦力机器人主要面向大型电气企业机房巡检场景,以智能机器人及计算机视觉技术为基础,打造一体化智能系统,对配电站/配电房设备做定期巡检、以及天气状况变化时的特殊巡检,其研究内容是工业互联网时代电气制造企业正常运转的必备工作。配电站,作为电力传输的枢纽,其安全可靠的运行对电气设备制造企业至关重要,设计高效、稳定、安全的配电站电气设备检测系统是目前研究的热点、难点。数量庞大的220kV,110kV 配电所是巡检的重点目标,为保证配电站设备的安全稳定运行,设有周期性的例行巡检和特殊天气时候的特检。巡检的主要任务有配电站设备的外观、温度、噪音状况巡视,其中包括变压器、真空断路器、Pass 开关、母线、隔离开关、避雷针、避雷器、电力电容器等,以及众多仪表的数据记录。巡检的任务量大,并且要在雷雨等特殊天气和用电高峰期时增加特殊巡检。



当前人工巡检仍然为配电站巡检的最主要方式,即配电站工人定期对设备巡视检查,即设备的外观是否存在异常,仪表数据是否正常,设备的气味、触觉,以及允许触摸的设备温度是否正常等。然而这大多是个人的感官上定性的判断,巡检效果因人而异,与巡检人员对设备的了解、人员的责任心、精神状态等有很大关系。人员劳动强度大、工作效率低,在雷雨、大雪等特殊天气时,人工巡检存在较大安全隐患,且无法保证时效性。所以面向配电站巡检的新一代智能机器人-瓦力机器人,作为替代人力在配电站环境中进行巡检的一种智能设备,应运而生,来根本上提高巡检效率,提升巡检的可靠性、自动化水平。随着人工智能技术的快速发展,采用先进的视觉检测技术可以极大地提升检测质量和工作效率,是实现配电站电气设备状态检测和维修的重要手段,瓦力采用基于数字图像处理和计算机视觉对电气设备关键零部件图像进行实时智能分析,判别设备零部件的状态故障与关键参数变化。


“瓦力机器人”应智慧工业需要而生,以5G为桥梁,将AI的计算机视觉和智能驾驶两大领域连接起来,实现“5G+AI”新模式。



02 产品介绍


1.核心功能


瓦力机器人的主要任务是在工业场景中实现工程安全审核、自动化巡检、和远程点检。


安全审核,即对工程人员是否佩戴安全帽、安全带进行识别、跟踪和存档,对未佩戴安全帽、安全带的危险行为触发告警。


自动化巡检,即针对5G基站天线等工业设备,以小目标识别、图像分割和图像分类的方法,自动检测工业设备是否存在异常连接、关键器件缺失等问题。


远程点检,即基于5G网络实现超高清视频远距离传输,帮助工业管理人员足不出户即可完成点检工作,提升效率。



2.工作原理


瓦力的目标,就是让计算机能够自主决策,理解工业场景,推断设备状态,给予智能化检测和管控。它可以自动巡航到指定点位进行高清摄像,以5G网络传送4K分辨率视频到服务器,进行AI图像处理和智能检测,并通过手机app呈现管理结果。产品既包含计算机视觉的目标检测、物体识别,又有智能驾驶的SLAM同步定位与制图、激光雷达导航等功能,技术难度高,开发工作量极大。主要工作包括:


(1)打造一款支持自主制图、定位、规划、导航的机器人系统,在配电站环境中自动执行巡检工作,以机器巡检代替人工巡检。


(2)基于机器人平台的图像采集能力,构建基于计算机视觉技术的目标检测和物体识别模型,支持对设备异常状态、异常温度、部件缺失、线路错误等情况的自动检测,异常发生时即时触发告警并自动存档。



03 技术贡献


1.树莓派机器人平台研发


瓦力机器人,是基于树莓派主控平台,将各类部件IMU传感器、ROS控制主板、双目景深摄像头、热成像测温相机、电机等组合起来,而打造的履带式平台。通过在Ubuntu环境下安装ROS操作系统,将复杂硬件及配套软件集成到统一环境中, 使OpenCV视觉巡线、激光雷达地图构建和导航功能得以实现。上述功能是瓦力机器人的核心研发贡献。其中,二维SLAM(同步定位与建图)研发工作,基于激光雷达进行二维栅格制图,基于蒙特卡洛法进行全局定位,将机器人位姿参数和环境参量的误差估计转化为扩展卡尔曼滤波问题,实现自动导航;三维SLAM研发工作,引入双目景深摄像头,基于结构光即时输出空间的三维景深数据,帮助SLAM进行数据矫正,形成三维点云图,IR主动光(云纹红外)识别白墙等视觉难以感知的场景,仅依靠视觉摄像头即可完成空间导航,该技术行业内领先。



2.视觉AI系统研发


瓦力机器人平台的高清摄像头拍摄视频后,传送高清视频流到云端服务器,通过人脸识别模型进行施工身份鉴权,通过SSD+Faster-RCNN的级联网络结构,进行通信设备异常检测(小目标检测)。以配电站检测为例,系统识别到配电柜后,第一层网络使用SSD网络识别设备面板图像,SSD是一种端到端的单次多框实时检测的深度神经网络模型,适合动态视频中较大物体的目标检测。第二层网络,设备面板中微小器件的图像通过Faster-RCNN框架检测。在这个阶段产品创新地提出用群智能优化算法优化回归方程的核心参数,以目标检测框架的误差函数为目标函数,提升检测精度及速度。第三层网络,以CNN作为分类器,检测出是否存在安装及状态异常,最终给出施工安全检查结论,提供管理人员进行实时审核。此阶段引入猫群算法优化CNN的网络结构(如卷积层/池化层数,dropout率,全连接层节点数,动态调节算子等),提升分类精度。



3.先进智能设备的系统集成


瓦力机器人目前已经过两轮迭代,目前最新版本为第二代智能机器人,在硬件性能和视觉能力方面都有长足进步。瓦力二代打造了工业级机器人底盘,综合性能远高于第一代实验型平台,最高载重达50kg,电机功率达60w,可以搭载大型智能设备,它具有厘米级的导航精度,毫秒级的感应速度,接口丰富便于集成多种传感器,开源操作系统也适合深度二次开发。正是有了这样高性能的平台,瓦力才拥有更敏捷的多点巡航性能。视觉AI能力也得以进化,瓦力一代主要通过可见光摄像头进行感知和检测,而瓦力二代采用高灵敏度热成像摄像头,融合了高精度测温算法,可以探测设备发出的红外热辐射,测温误差在0.05摄氏度以内,有了它,瓦力机器人可以有效进行火情预警、吸烟检测与冷热点追踪,检测场景更加丰富。



04 应用推广


1.应用场景


瓦力机器人适配的场景极其广阔,主要是面向政企市场的ToB场景,例如在电气设备配电站检测、高速铁路沿线电力检测、机械部件出厂检测、5G基站建设审核及巡检等应用场景中,以“机器人自动巡航+AI检测算法”提供服务。后续可通过增加无人机等运输载体,实现远距离自动化检测,非常灵活。


瓦力机器人通过打包履带式机器人、网络设备等硬件,及图像处理服务器、人工智能服务器、APP等软件,形成一体化产品,提供应用方案。其依赖成熟的机器人平台实现自主规划路径、自动控制,也支持基于先进的计算机视觉框架实现微小目标检测和物体识别,受众面广,在工业互联网时代,先进制造和智慧工业企业都需要进行基于机器人的工业设备异常检测、安全管控、质量检验,在新一代移动网络的助推下,产业化拓展前景一片光明。面向工业场景的配电站巡检机器人受众面广,只要是有基于AI技术进行工业设备异常检测、安全管控、质量检验等解决需求的企业客户都是目标客户群,场景既包括大型电气/机械制造企业的工程建设、基站建设、大型数据中心巡检,也可以扩展到电力设备、电气设备、智能机械设备等工业垂直行业的视觉智能检测中。


2.推广方案


瓦力机器人可在初期为企业内提供5G网络整体方案下的免费试用,帮助制造业实现智能制造场景落地。企业可按照需求对硬件进行分类选配,也可将软件系统部署于企业自身的私有云环境。预计后期,随着产品的不断迭代成熟,在充分展现5G+AI优越性后,将以独立软硬件产品形式提供对外服务。

浙江某电气集团作为“瓦力机器人”产品经理在浙江大学做博士后的科研合作单位,已确定在它的配电房巡检项目中应用瓦力机器人,来解决人工巡检劳动强度大、工作效率低,高压巡检环境存在安全隐患等问题,重点检测短路状态、螺栓紧固状态,仪表指针读数,配电设备温度等。截至目前已进行了10轮次实地测试,采集图像达2.3万张,这是瓦力商用推广迈出的里程碑式一步。


通过为智能制造企业搭建企业内5G网络,同时提供软硬件相结合的AI产品服务,瓦力机器人这种以建网+工业解决方案相结合的新型产品正是时代所需。瓦力机器人发挥自身自动巡航优势,结合先进的AI目标检测技术,实现自动化工业设备检测一体化方案,可让智慧工业企业体会到与5G网络紧密契合的工业互联网新形态、新体验,帮助实现机器巡检对人工巡检的代替,最终配合5G网络切片实现快速推广应用。



05 总结和展望


在5G时代,全新的业务形态驱动运营商的网络革新,基于SDN/NFV、AI智能、云计算等先进技术构建新型网络,推动传统通信设施向数字经济基础设施转型。流量爆发式增长、互联网新业务层出不穷、ToB业务占比加重已经成为5G时代三大转型趋势。面向智能制造和智能工业场景,进行企业内5G网络建设,提供与5G网络配套的垂直领域解决方案,已经是5G时代标准的盈利模式。


瓦力的出现,通过发挥5G高带宽优势,实现超高清视频远距离传输,准确识别工业设备微小缺陷;发挥5G低时延优势,实现机器人实时自动巡检,结果即时呈现,管控即时执行;发挥5G高并发优势,实现大规模智能机械群体的统一管控,使管控效率较人工操作提升成百上千倍。


瓦力的研发,也依托了浙江大学CAD&CG国家重点实验室的技术力量,是浙江省博士后科研基金资助项目。后续将继续提升机器人平台的巡航能力,优化AI算法,更好地适配智慧工业场景下的需求。


瓦力机器人产品的研发,从算法、模型、系统集成都有自主知识产权,且对硬件要求低,利用快速部署;产品的目标检测/物体识别模型是基于移动5G基站、通信设备、通信枢纽的设备图像特征库训练,特征库图片资源丰富,训练的模型非常适合智慧工业的特征识别,相比其他物体识别模型精度更高,有着良好的规模化生产的前景。



06 团队介绍:


产品经理:赵东明,全日制工学博士,浙江大学博士后,高级工程师,信息公司高级技术专家。累计获得包括自主开发大赛铜奖、天津市科技进步奖、中国移动业务服务创新奖在内的98项各类成果和奖励。主要负责产品规划、架构设计、解决方案和运营拓展工作。


技术负责人:田雷,北京大学数学硕士,数据架构专家、数据科学家和人工智能专家,积累了大量大数据平台的系统架构、数据模型、需求开发的先进经验,精通机器学习算法。在项目中主要负责人工智能模型、机器学习/深度学习的工程实现。


硬件工程师:许磊,管理信息系统/机器人专家,项目中主要负责履带机器人平台、SLAM技术、智能导航相关的系统软硬件研发工作。


前端工程师:卢驰,大数据工程师。项目中负责视觉AI产品的前端系统研发、接口开发及数据库对接工作。


图像处理工程师:王瑞娜,西安电子科技大学硕士。在项目中主要负责UI/UE,数据标注、产品运营、产品体验等工作。


(信息公司 赵东明)

*专家文章为作者独立观点,不代表移动Labs立场. 转载此文章须经作者同意,并请附上出处(移动Labs)及本页链接。

0