無人車遠程操控平行駕駛系統介紹

2021-01-04  閱讀數:6081

公司介紹

人工智能已經成為新一輪產業變革的核心驅動力,正在對世界經濟、社會進步和人類生活產生極其深刻的影響。作為人工智能范疇最重要的前沿分支之一,機器視覺已服務工業 30 年,相當于現代工業生產和智能制造的 “機器眼睛”。蘇州天準科技股份有限公司致力于以領先的人工智能技術推動工業轉型升級,通過持續高強度創新,不斷突破行業極限。

在精密測量領域,由天準牽頭的“復合式高精度坐標測量儀器開發和應用”項目入選“國家重大科學儀器設備開發專項”,設備精度高達 0.3 微米,使中國成為繼德國、日本之后,掌握同等測量技術的全球第三個國家。

天準的智能檢測裝備將機器視覺技術應用于工業流水線上的在線檢測場景,實現對工業零部件和產品的實時在線尺寸與缺陷檢測。以光伏領域為例,天準不斷打破業界極限,將硅片分選檢測設備產能成功提升到業界 1.5 倍以上,成本降低 50% 以上。

天準的智能制造系統不僅可消除生產檢測中人的不穩定因素、提升生產效率、降低生產成本,而且可幫助改善產品品質,已廣泛應用于 3C 電子、汽車制造等智能化生產程度較高的行業,推進工廠無人化和智能化進程。

無人物流車是機器視覺技術在物流領域的落地場景。天準作為 NVIDIA Jetson Preferred Partner,將基于 NVIDIA Jetson 處理器的 AI 邊緣計算技術與無人車相結合,打造無人移動平臺加 AI 邊緣計算整體解決方案,使機器視覺技術賦能更多的行業和場景。


方案與開發技術分享

L4級自動駕駛無人車應用場景中,車輛需要在限定路段的開放道路上自主行駛。正常情況下,無人車上的傳感器和感知算法能夠自主感知周圍環境,實時定位和規劃行進路線,并按照規劃的路線自動行進。當無人車遇到某些特殊情況無法繼續行進時,需要人工接管干預,幫助其脫離當前困境。無人車的接管頻率代表了其系統成熟度,行業發展最終目標是實現零接管自動駕駛,達到真正的商業落地狀態。在當前發展階段,大部分無人車在某些復雜場景中,遇到某些特殊情況時仍需要現場安全員進行接管和干預。為了進一步降低運維成本,推動無人車更快的在場景中落地,行業里開始嘗試采用遠程監控和遠程操作的方式,用遠程安全員取代現場安全員,提升運維效率,又稱作平行駕駛。一套典型的平行駕駛系統由車載監控相機、車載處理器、遠程監控主機、顯示器組、操控單元以及網絡鏈路組成,如下圖所示。各部分功能和選型說明如下:


車載監控相機:一般選用 GMSL FPD-link 接口協議的串化相機,此類相機將CMOS MIPI 信號進行串化后,通過同軸線纜進行供電和信號傳輸,最遠可以傳輸 15 米,與常用的網口相機、USB 接口相比,具有更高的抗震性、可靠性和更低的延時。為了獲得更大的視野,一般選用 190° 的魚眼環視相機安裝在車的四個方向上。
平行駕駛控制器,其主要功能包括以下幾個方面:

·接收相機串化信號并解串成 MIPI 信號;

·對環視相機的圖像進行畸變校正;

·H.264 和 H.265 編碼;

·將編碼后的視頻流進行 RTP 封包,然后以標準 RTSP 視頻流的格式推流。


遠程監控主機和多顯示器:接收各路相機的 RTSP 視頻流,通過 GPU 加速進行 H.264 H.265 解碼,然后對解碼后的各幅圖像進行拼接、裁剪和重疊區域消融處理,最后將各相機圖像以駕駛員視角的效果顯示到各個液晶屏上。
操控單元:遠程安全員根據實時顯示的視頻流,通過操控單元的油門、剎車、方向盤等組件實時給無人車上的平行駕駛控制器發信號,通過其 CAN 總線控制器加速、減速、轉向等動作。
在上述系統中,系統延時是決定系統能否發揮作用的關鍵因素,它主要取決于車載處理器的能力。車載處理器是整個系統的核心單元,需要有強大的信號接入能力、圖像處理能力、實時視頻編碼能力。NVIDIA Jetson NX 處理器的性能能夠很好地滿足上述要求。我們基于 NX 處理器構建了 GEAC90 控制器,在此基礎上搭建的平行駕駛系統框架如下圖所示。

在該系統的基礎上,結合 NVIDIA DeepStream 軟件 SDK 的應用,我們在局域網和 5G 專網環境下,從相機觸發到遠端液晶屏顯示的時間延時達到了 120ms 之內,完全滿足遠程實時平行駕駛的需求。整個系統的延時分析如下圖。



目前該套系統已經成功的在低速無人小車和無人工程車輛場景中落地應用。

A级毛片高清免费网站不卡,A级毛片高清免费网站不卡,A级毛片免费观看