无人车远程操控平行驾驶系统介绍

2021-01-04  阅读量:8801

公司介绍

人工智能已经成为新一轮产业变革的核心驱动力,正在对世界经济、社会进步和人类生活产生极其深刻的影响。作为人工智能范畴最重要的前沿分支之一,机器视觉已服务工业 30 年,相当于现代工业生产和智能制造的 “机器眼睛”。苏州亚新官方网站科技股份有限公司致力于以领先的人工智能技术推动工业转型升级,通过持续高强度创新,不断突破行业极限。

在精密测量领域,由亚新官方网站牵头的“复合式高精度坐标测量仪器开发和应用”项目入选“国家重大科学仪器设备开发专项”,设备精度高达 0.3 微米,使中国成为继德国、日本之后,掌握同等测量技术的全球第三个国家。

亚新官方网站的智能检测装备将机器视觉技术应用于工业流水线上的在线检测场景,实现对工业零部件和产品的实时在线尺寸与缺陷检测。以光伏领域为例,亚新官方网站不断打破业界极限,将硅片分选检测设备产能成功提升到业界 1.5 倍以上,成本降低 50% 以上。

亚新官方网站的智能制造系统不仅可消除生产检测中人的不稳定因素、提升生产效率、降低生产成本,而且可帮助改善产品品质,已广泛应用于 3C 电子、汽车制造等智能化生产程度较高的行业,推进工厂无人化和智能化进程。

无人物流车是机器视觉技术在物流领域的落地场景。亚新官方网站作为 NVIDIA Jetson Preferred Partner,将基于 NVIDIA Jetson 处理器的 AI 边缘计算技术与无人车相结合,打造无人移动平台加 AI 边缘计算整体解决方案,使机器视觉技术赋能更多的行业和场景。


方案与开发技术分享

L4级自动驾驶无人车应用场景中,车辆需要在限定路段的开放道路上自主行驶。正常情况下,无人车上的传感器和感知算法能够自主感知周围环境,实时定位和规划行进路线,并按照规划的路线自动行进。当无人车遇到某些特殊情况无法继续行进时,需要人工接管干预,帮助其脱离当前困境。无人车的接管频率代表了其系统成熟度,行业发展最终目标是实现零接管自动驾驶,达到真正的商业落地状态。在当前发展阶段,大部分无人车在某些复杂场景中,遇到某些特殊情况时仍需要现场安全员进行接管和干预。为了进一步降低运维成本,推动无人车更快的在场景中落地,行业里开始尝试采用远程监控和远程操作的方式,用远程安全员取代现场安全员,提升运维效率,又称作平行驾驶。一套典型的平行驾驶系统由车载监控相机、车载处理器、远程监控主机、显示器组、操控单元以及网络链路组成,如下图所示。各部分功能和选型说明如下:


车载监控相机:一般选用 GMSL FPD-link 接口协议的串化相机,此类相机将CMOS MIPI 信号进行串化后,通过同轴线缆进行供电和信号传输,最远可以传输 15 米,与常用的网口相机、USB 接口相比,具有更高的抗震性、可靠性和更低的延时。为了获得更大的视野,一般选用 190° 的鱼眼环视相机安装在车的四个方向上。
平行驾驶控制器,其主要功能包括以下几个方面:

·接收相机串化信号并解串成 MIPI 信号;

·对环视相机的图像进行畸变校正;

·H.264 和 H.265 编码;

·将编码后的视频流进行 RTP 封包,然后以标准 RTSP 视频流的格式推流。


远程监控主机和多显示器:接收各路相机的 RTSP 视频流,通过 GPU 加速进行 H.264 H.265 解码,然后对解码后的各幅图像进行拼接、裁剪和重叠区域消融处理,最后将各相机图像以驾驶员视角的效果显示到各个液晶屏上。
操控单元:远程安全员根据实时显示的视频流,通过操控单元的油门、刹车、方向盘等组件实时给无人车上的平行驾驶控制器发信号,通过其 CAN 总线控制器加速、减速、转向等动作。
在上述系统中,系统延时是决定系统能否发挥作用的关键因素,它主要取决于车载处理器的能力。车载处理器是整个系统的核心单元,需要有强大的信号接入能力、图像处理能力、实时视频编码能力。NVIDIA Jetson NX 处理器的性能能够很好地满足上述要求。我们基于 NX 处理器构建了 GEAC90 控制器,在此基础上搭建的平行驾驶系统框架如下图所示。

在该系统的基础上,结合 NVIDIA DeepStream 软件 SDK 的应用,我们在局域网和 5G 专网环境下,从相机触发到远端液晶屏显示的时间延时达到了 120ms 之内,完全满足远程实时平行驾驶的需求。整个系统的延时分析如下图。



目前该套系统已经成功的在低速无人小车和无人工程车辆场景中落地应用。

返回