2017GAITC智能駕駛分論壇實錄丨劉偉：基於視覺的駕駛場景理解與自動駕駛集成

主題：智能駕駛分論壇

時間：2017年5月22日上午

地點：國家會議中心401

本文根據速記進行整理

基於視覺的駕駛場景理解與自動駕駛集成

劉偉

東軟睿馳汽車技術（瀋陽）有限公司智能駕駛業務線高級研究員

鄧偉文/主持人：下面有請東軟睿馳汽車技術（瀋陽）有限公司智能駕駛業務線高級研究員劉偉，劉偉博士是東軟自動駕駛業務的高級研究員，畢業於哈工大，吉林大學並分別獲得學士、碩士和博士學位，2015年9月加入東軟，負責自動駕駛相干研究工作，從事質量的自動安全，智能化相關工業，研究方向包括車輛的動態模擬與控制和自動駕駛等。今天的項目題目是基於視覺的駕駛場景理解與自動駕駛集成。

劉偉：首先感謝鄧老師邀請東軟，讓我們展示一下在自動駕駛方面前期的研究基礎，以及現在對自動駕駛產業化的探索。首先簡單介紹一下公司的業務，我們講的沒有那麼學術，比較偏應用一點。

東軟睿馳母公司是東軟集團，是第一個上市的軟體公司，在全球擁有2千多名員工，8個區域總部，10個軟體研發基地，16個軟體開發與技術支持中心，60多個城市建立營銷與服務網路，全球包括美國、日本、瑞士、芬蘭、羅馬尼亞、德國、迪拜、秘魯多有分公司。業務涉及到汽車電子，醫療IT，交通，基本上各個領域都有，但是主要兩個大的方向就是汽車電子和醫療IT，因為東軟是做汽車電子起家的，之前和一些國際的供應商提供電子的軟體，現在走上前線，提供汽車電子的產品。東軟汽車電子業務有25年面向全球汽車電子研發經驗，在汽車軟體全球TOP30的汽車品牌中80都有東軟軟體硬性，業務覆蓋歐洲、日本、美國擁有4000多名員工。擁有多維客戶，25家車廠，16家Tier1合作夥伴，11家內容提供商。最大的車聯網整體端到端解決方案提供商，獲得了CMMILI和軟體開發的認證。東軟集團在汽車領域有一個BigCar業務途徑，利用東軟集團整體能力，創造以汽車為中心的整體平台業務，提供人、車、社會的整體解決方案，涉及到金融領域，包括汽車銀行保險，還有車聯網，雲，通訊和客戶管理方面，以及車輛的運營，用車，養車的系統，我們現在提供EV解決方案，包括和英特爾合作的自動駕駛坐艙的C4平台。

東軟睿馳是東軟集團在2015年底整合了電池、EV、CLOUD，ADAS領域，致力於在新能源，智能網聯汽車領域，曾經一家擁有卓越技術的創新新型企業，向全球市場優質的產品。核心優勢就是專利，有100多項，有一些通過ISO26262標準，16949標準，也是ADAS國際標準委員會成員，ITS無標準委員會副主任委員，技術方面，有國際領先的智能識別技術，國內唯一一家運用電力線載波技術的供應商。

下面介紹一下ADAS業務線在圖象處理和自動駕駛領域的業務。東軟有25年汽車電子行業經驗，18年多的圖像處理的技術積累。2004年開始，連續12年專註於輔助駕駛核心技術的研發與產品化，擁有120名以上的核心技術研發人員，覆蓋視頻分析、嵌入式高性能計算，感測器融合等輔助駕駛系統相關領域。智能視覺相關國內外專利60多項，也是標委會的成員。願景是為人類的交通安全與便捷做出貢獻，讓更多的人享受我們提供的安全、便捷的產品及服務。我們提供多類對象檢測識別技術，多感測器融合技術，基於多核的高性能計算技術，多學科知識融合技術。

基於視覺的駕駛場景理解相關技術，在自動駕駛領域，我們需要解決哪些問題，周邊有什麼環境，我們自己的車在哪裡，我們的目的是什麼，這塊目前提到的視覺解決方案，主要面向的是周圍有什麼的問題，因為攝像頭裝在車上，感知的範圍有限，所以主要是局部環境的理解，就是解決周邊有什麼的問題。有一些配置，包括攝像頭、激光雷達，廣播雷達，超聲，V2X，Map Data。基於視覺能解決什麼問題，首先是車外的攝像頭，可以識別道路的環境，交通參與者，交通指示。徹內的感知，可以感知駕駛員身份，視線，手勢，以及注意力。車外環境的感知，包括幾類，一方面是交通參與者，道路信息，還有道路上的指示信息，交通參與者包括行人，機車，腳踏車，車輛，動物，路面信息，包括車道線，路面標識，車位標識，指示信息，交通標誌，信號燈，指示牌，東軟在這方面都進行了一些技術的探索，簡單介紹一些案例。這是交通參與者方面對車輛的檢測，食品顯示的是車輛檢測的結果，這是不同場景下的，國內國外的數據產生的。這個是對向來車的檢測，這邊是行人、腳踏車、機車的檢測。這是使用夜視的成像做的行人識別和車輛識別。因為我們是做圖像的，只要是獲取了圖像，有這個樣本，可能就不考慮成像的問題，我們就是拿到圖像，對圖像做一些處理，然後做識別。這是測向攝像頭對盲區識別的情況，這是對不同類型姿態，包括正面的車輛，側面的車輛，以及各種姿態的行人檢測的結果。這是對不同的限行，不同的場景下，包括隧道、夜晚、有曲率的車道線檢測的結果。這是對路面指示標誌檢測的結果，這個是道路上的斑馬線，這是車位，這是一些交通標誌。這個過程中大家可以看到，剛才我們也討論了，視覺比好比波雷達和激光雷達好在哪裡，人也是通過視覺接受信息，視覺通過像素給到的環境信息是十分豐富的，如何從這些圖像中提取我們感興趣的信息，就是我們做圖像處理要解決的問題，目前我們能解決的就是剛才提到的，但是未來通過這個圖像，我們可能能解決更多的問題，圖像就給我們帶來了無限的可能性，因為圖像的來源有很多，我們可以有夜視的，雨霧天氣也有校正的現象，所以這是一個相互的過程，目前的領域我們認為通過圖像可以得到的信息，應該比毫米波雷達和激光雷達略微豐富一些，會有一些交集，但是也有它特有的地方。這塊是剛才看到的交通標誌的識別，限速牌的識別，包括不同國家的，這是日本的德國指示牌，這是信號燈。

針對無自動駕駛L3，還是涉及到駕駛員的接管，它需要對車內駕駛員做一些監控，除了提到車外的撤職，對車內駕駛員狀態的識別和工作狀態也做了一些工作，包括駕駛員狀態的監控，手勢的識別，視線的跟蹤，這塊可以檢測到駕駛員的姿勢，朝向，狀態，這是檢測面部的關鍵點，判斷駕駛員的狀態，這是駕駛員視線的估計。

前面講了一些應用，通過圖像識別做了一些基礎性的研究，能夠識別車內車外的環境，怎麼把這些技術應用到實際的車輛中，這裡會涉及到一些集成的關鍵技術，包括深度學習，包括嵌入式高性能計算的探索。深度學習有幾個方向，首先我們用它對我們現在傳統的機器學習做驗證，另外深度學習可以對更複雜的場景理解，比如現在的自動駕駛空間的探索。深度學習要建立一個數據極，這是像素水平的標記，還有圖像特徵的標記，主要的研究領域，一方面是應用領域，一方面是自由空間探索，這是傳統的車道識別，通用物體識別，在目標檢測裡面它會有一些特殊的地方，比如它能夠處理一些比較特殊的場景，比較複雜的，包括一些特殊車輛，多視角，包括前視，后視，測視，以及路面小物體的識別。性能計算方面，和嵌入式高性能計算會有一些交叉，通過對深度學習演算法的深入研究，對這些演算法進行優化，讓它適應嵌入式的平台，能夠在產品中集成應用。深度學習它大概是這樣一個過程，首先就是數據極的採集，通過深度學習，圖像的工具，對數據極的特徵進行集成，標記完以後有人工教研的過程，形成GT數據集，就可以對傳統的圖像處理的演算法驗證，通過不斷的迭代，讓GT數據集不斷變大，準確率不斷提升，形成我們研發和應用的資料庫，提升圖像識別的精度，降低誤報率，一方面是在通用的CPU上做這種探索研究，目前還是研究的階段，去做一些自動駕駛空間的探索，做一些像素級的標的。在應用方面可以做一些輕量化的深度學習演算法，可以適用目前車載的CPU，提供一些行人車輛的識別演算法，輕量化這塊主要是面嚮應用的，這個是我們建立數據集的過程。還有一個關鍵的技術，我們使用了輕量化的CNN，這裡有兩個過程，一方面是對關鍵的參數硬化，另一方面裁剪網路，適應目前嵌入式平台的應用。

在深度學習領域，目前進展的情況，一些關鍵的技術，包括定製化的神經網路，降低誤報率，提高準確率，還有就是小物體，對遠距離，100米左右的車輛做一些標定和識別。這是一些多視角車輛，橫穿車輛的檢測。在應用場景理解這塊，首先需要建立數據集，通過對樣本進行標記，對網路進行訓練，獲取路面的特徵，包括車道線，道路邊沿，行人等等，基於這個做一些多任務的駕駛場景的理解。同時檢測車輛和道路邊界以及自由駕駛空間。這些技術的載體就落到了高性能計算，我們需要尋找一個嵌入式的平台，把我們剛才提到的複雜的演算法讓它可靠的運行在我們產品上，我們選用的是一個量產型的嵌入式平台，對它進行演算法級，函數級，指令級高性能并行計算的研究，內部涉及到數學、濾波、幾何、統計、形態、特徵、運動、機器學習等基礎的技術，通過對圖像數據演算法進行優化，可以看出它不同的功能函數，通過APEH盒優化的速比，性能的提升到10到19倍，特徵提取有8到12倍提升，分類有4到10倍的提升。這是通過計算帶來性能量化的對比，首先和傳統純ARM的處理，運算周期可以通過這個示例看到，這是APEH盒，這是CPU也就是ARM盒處理的過程，通過計算最終達到了這樣一個性能的提升，這個是ARM採取的時間，單位是納秒，這是通過APEX盒提升性能的情況。這是我們使用輕量化的CNN作為產品的視線它的優勢。首先有兩種輕量化的CNN，它對正樣本和負樣本的檢測率方面，和全量級的CNN來比性能是差不多，但是它所消耗的時間可以得到大大的優化，比向量級花的時間長，但是有很大的提升，這是對於一個模糊對象，有一些概率，正負樣本是比較確切的目標，這個是一些疑似目標的檢測，CNN會有一定的錯誤的概率，LightCNN有一個性能的折中。在這個基礎上，我們運用視覺的基礎，目前在做一些面向車輛控制方面的探索，包括有自動駕駛的案例在這個基礎上開發了車道保持，自動啟停，ACC功能的實現。

市場活動方面，我們在美國CES上，今年一月份支持了4家車廠，提供圖像處理的演算法，都實現了高性能預算情景的演示。這是參加聯盟活動的情況。下面是我們目前產品的形態，現在一帶產品使用的是標清攝像頭和DSP盒，因為晶元性能有限，通過前後攝像頭不同的形態，支持的功能是需要取捨的，前置攝像頭提供前行車道線和行人的預警，后視攝像頭可以做移動物體的識別，還有前後視攝像頭+控制器集成方案，可以在前視和后視的過程中，分時做一些功能的組合。這是一些簡單功能的減少，這是移動物體和橫穿物理識別的區域，這個是車道偏離預警系統，這個是前碰撞預警系統，這個是基於后視的車輛預警方案，這個是偏離車道線，這個是通過攝像頭對車後方的預警。這個是在商用車上面的特徵，包括右轉輔助，主要是側邊的盲區，這個功能和乘用車基本類似。這是一代產品功能的演示，下面是產品的案例。

第二代產品是基於高清攝像頭，使用SOC和MCU，做高性能的預算和控制功能的形態，提供車道保持，還是剛才預警類的功能，增加了ABLK控制的功能，一種是一體機的方案，一種是段焦和長焦攝像頭分體的方案，可以支持前視和后視。這是它的主晶元，是NXP的方案，這是AEB功能的演示。這是基於視覺和毫米波雷達融合的，使用真車是因為把參數放大了，使用試車的時候還是比較危險的，這個停下來還是有一定的距離，這是測向控制的功能。這個系統工作過程中駕駛員應該手握方向盤，這是為了體現控制的效果，也是對一些參數做了調整。可以同時檢測4根車道線，隨著車道的遠近精度不同，本車道的精度還是能夠滿足控制的要求。還有一些自動泊車的案例，目前車輛的換擋是通過手工換擋的，但是速度和轉向的控制是通過車輛自動完成的，包括車位的檢測。這是自適應巡航的過程，這是人、車、線，同時在SOC上運行的效果，這是白天，這是夜晚。這個是比較複雜的場景，就是很多的行人和車輛。交通標誌識別並沒有做到產品中，只是給了客戶一個選項，這是在美國的道路上識別的道路牌，這是在感測器融合方面做的探索，也是在產品中應用的技術，通過視覺和毫米波雷達提供這兩種感測器固有的特性。

上面提到了一代和二代的產品，三代的產品會月到深度學習和更高自動駕駛的組合，包括高速公路下的交通輔助功能。我們的優勢呢，我們的硬體平台是完全可編程的ACU，它是開放標準的，不是定製化的硬體。軟體是模塊化和定製化的，客制化，功能提供了360度的覆蓋的方案，包括前視后視，可配置，根據需求進行功能的組合，多感測器融合的支持。在應用領域是低成本的解決方案，功耗方面是性能平衡，目前使用的晶元，設計之初就是面向車規的，性能通過APEX優化以後，對整個性能的提升，也是做到技術和產品應用的平衡。在可靠性方面，包括集成雷達、圖像，這是融合的演算法，軟硬體的設計和功能安全的設計，這是一些優勢。

以上就是我整個彙報的內容，涉及到了一些技術和我們的產品，謝謝大家。

提問：對於智能車有前後左右多個攝像頭，有紅外和激光雷達，我想問一下它的優先順序是怎麼樣分配的，權值是怎麼分配的？

劉偉：目前是基於視覺，因為視覺是做了很多年了，但是視覺它有自己的缺陷，比如說光照，比如剛才提到的陽光直射和夜晚對它的影響，所以我們在這個基礎上，也在考慮和毫米波雷達的融合，在融合過程中怎麼樣考慮權值呢，首先考慮測量的特性，比如對寬度測量比較准，但是毫米波雷達對車輛的相對速度和距離比較准，我們的融合演算法相當於增加了一類感測器，而不是融合后的結論，我考慮了圖像和雷達以後，我輸出一個結果給大家，是串聯的，我們最終的融合結果是並聯傳輸給應用層，根據應用場景，就是每一個特徵都有執行度，包括寬度，包括相對速度，這些特徵本身都有執行度，你知道是來源於融合感測器還是雷達的，還是圖像的，可能激光雷達的問題沒有提到，目前只是產品階段做到了圖像和毫米波雷達。

鄧偉文/主持人：現在一方面是感測數據融合，另一方面是深度學習，它們對計算平台要求比較高，你們採用什麼樣的計算平台？

劉偉：剛才提到晶元是採用（英文）上面有GPU，ARM，還有比較關鍵的就是提到的APEX，通過APEX做一些功能的計算，加上對神經網路的裁剪和參數的整形化，就是達到一個平衡吧，因為這個晶元從設計之初就是面向車規的，我們基於它做一些應用集成，做一些性能的平衡。

鄧偉文/主持人：謝謝劉博士的演講。前面幾位演講者都提到了數據，顯然數據很關鍵。