作者:贵州公司 郭麟


团队介绍 


1.png


我们的团队成立于2018年11月,是一支具备丰富业务经验、追求创新、敢打敢拼的团队,我们将继续深耕AR远程助手,让助手在5G网络运维运维工作中大放光彩。


2.png


 降本增效和工作痛点,是我们创意的来源


作为运维人员,在日常工作中我们经常和一线同事进行沟通,聆听着他们的声音,对于远程求助,他们迫切的希望能够有一种高效的手段来支撑他们,改变他们目前面临的低效率、易出错的远程求助现状,我们了解到他们的痛点,看在眼里,急在心里,所以我们决定打造一款产品,来为我们的一线运维人员解决问题。


首先我们想到了AR眼镜,随着5G时代的来临,AR对网络速度及带宽的要求已得到完全满足。目前市面已陆续推出各种AR远程协助眼镜,似乎是可以直接引入的成熟产品。


但经过我们结合公司降本增效的导向后进一步分析,发现AR眼镜并不适合我们,因为需要购买眼镜硬件设备和对硬件的持续维护投入。成本高、难维护、不易携带等问题非常突出,极大的限制了AR眼镜在公司各种施工、运维现场的大量投入和广泛使用,所以AR眼镜不可行。


经过团队不断的论证和分析,我们突然想到,可不可以做一个完全基于手机的APP,来实现远程AR指挥和故障支撑呢?这样硬件高成本和难运维的最大问题将彻底解决!


这样一种低成本、易维护和易携带的AR远程远程求助解决方案,让我们团队为之振奋!如果能实现,硬件带来的成本和运维困难将迎刃而解,而且它将能广泛的使用在5G网络的故障处理、业务开通、工程施工等各种环境中,使求助者对施工或故障抢修等现场无法解决的故障或问题通过本产品能的得到有效快速解决。


说干就干,于是我们开发了基于手机的AR远程助手APP。


3.png


功能建设,有的放矢 


在建设之初,我们就确定了不做大而全的系统,我们要做的是面向一线运维人员的“小而美”,“接地气”的产品,要让一线人员感觉简单、好用、方便,这才能够在广大一线运维人员团体中进行推广,具备强大的生命力。产品基于用户手机做为视频和语音采集端、远程图像实施呈现,并通过AR虚拟勾画实现远程指挥,通过点对点进行语音视频数据实时传递、对图像中的故障点进行动态识别并锁定跟随,实现了专家与求助者通过AR虚拟现场进行远程互动故障处理指导。


整体功能与技术框架


我们的远程求助


  • 一键求助:通过人性化设计,求助者只需一键即可向已有专家席发起远程现场相应求助。


  • 远程视频实时回传:通过实时采集求助者手机摄像头,将现场画面实时传递给专家席手机,专家可实时观看现场情况。


  • 实时语音互动指导:通过建立语音通道,使求助者和专家能通过手机进行语音沟通。


  • AR虚拟指导:专家通过专家端APP,对远程视频进行实时同步虚拟AR标记进行指导求助者。


  • 提供专家转接功能:当前专家无法解决求助者信息时,可直接启用转接给另一专家进行解决,同时可观看、学习、或加入另一专家一同为求助者共同解决问题。


远程指导


我们的智能所在


目标物体实时动态识别指导:求助者在用手机抓摄现场时,系统会对实时拍摄的图片进行动态目标物体检查,对预先训练的目标物体出现时,自动进行物体标注,并随镜头自动跟随。使专家和求助者很快找到关注的物体。


6.png

目标识别


我们的人性化体现


  • 自适应画质:通过打通隧道点对点技术,视频画质可根据网络情况进行自动适配480P、720P、1080P等不同画质,保证视频流畅度,该能力可实现助手适配4G网络、wifi等使用场景。


  • 低时延:通过对视频及语音数据及参数进行动态调优,并利用5G低时延特性,时延可控制在1s以内,使用体验非常好。


  • 高并发:本产品可供多人同时在线使用、支持高并发,为大面积推广奠定必要基础。


背后故事:小而美的背后,是艰苦抉择 


是AR还是白板勾画?


在开发之初,团队就为这个关键功能点争吵不休,到底是通过手机AR来进行远程指导,还是通过白板勾画来进行远程指导?AR勾画实现技术难度大,而且还没有特别好的组件来支持,在手机端使用时,通过MQTT传输AR勾画时,卡顿等问题存在,感知不好。使用白板勾画,暂停画面,实现简单,但却画面不清晰。到底怎么选型?为解决该问题,团队多方查询资料,分析使用场景,开展头脑风暴和结合一线调研。最终,我们首先找到了谷歌最新发布的ARCore组件,解决了手机端进行AR勾画的问题,然后我们根据一线人员建议,将AR勾画和白板勾画进行结合,分别应对非抖动场景和抖动场景。最后优化MQTT传输AR问题,并对AR勾画和白板勾画会卡死的问题进行了艰苦的技术攻关,终于将AR勾画和白板勾画共同集成到了AR远程助手中。


是智能识别还是图片样例?


最开始,为加快实现进度,我们在智能识别和图片展示样例中犹豫不决,团队意见也不统一,因为各有优势。但我们最终还是在队长的决定下,选择了智能识别,既然要智能识别,那就要解决智能识别的问题,目前各种图片识别的组件,都没有针对通信设备模块和故障点的,也就意味着我们团队要重新构建模型,拍摄照片进行训练,效果会如何,大家心中都没底,对此,我们加班加点进行拍摄和紧张的模型训练,当试点效果展示出来还非常不错时,也让我们心头的大石头落了地。但此时离半决赛时间不多了,团队成员此时众志成城。一起进入机房拍摄大量的照片进行物体识别训练,通宵达旦的进行算法优化和呈现效果调优,终于在半决赛开赛前完成了二十多种故障类别的训练,为此有队员家中孩子生病都没能回去看一眼。


要不要集成AR眼镜?


针对这个问题,团队内部也是争论了许久,有2人支持集成,有3人不支持集成,为了统一大家意见,让大家直观感受AR眼镜和我们产品的优缺点,队长组织了一次团队内辩论赛,两边分别写下各自的优缺点,然后展示出来,进行激烈的辩论,最终,低成本、易维护、易携带、对近视眼友好的纯手机端AR远程助手获得了绝对优势胜利,经过这次辩论,去掉了杂念,统一了思想,成为我们团队一条心走手机端的契机。


7.png

半决赛现场


不止于眼前,探索更多应用场景 


除以上介绍的目前AR远程助手已经具备的功能外,我们发现,一线运维人员的需求并不停留在只是远程求助,他们期望远程助手能够帮助他们解决更多问题:在日常巡检中,由于缺乏支持,巡检全凭现场人员记忆巡检手册内容进行判断,特别容易出错;在进行工程验收时,多方相约存在难度,而且要到达现场进行验收,费时费力;同时、故障不一定影响一个专业,找一个专家不一定能解决全部问题,需要进行专家会诊,更加提高了沟通的难度。


8.png


这些问题的发现,也触动了我们,为应对更多一线使用场景,在后续将加入更多支撑现场的实用功能。包括多方AR视频指挥、运维视频案例库、AR智能巡检、AR智能工程验收这些功能,通过以上功能的逐步实现,满足我们一线运维人员的需求,将AR远程助手打造成面向5G运维场景的功能丰富的远程智能求助系统。

*专家文章为作者独立观点,不代表移动Labs立场. 转载此文章须经作者同意,并请附上出处(移动Labs)及本页链接。

0