單個感測器都不靠譜，深度解析自動駕駛感測器融合

自動駕駛汽車有三大主要系統功能：(1）汽車感測器相關係統功能；（2）汽車計算相關功能，也就是人們所認為的人工智慧；（3）汽車控制相關的功能，控制油門、剎車、方向盤等。但我們今天只討論感測器和感測器數據使用方面的問題，即感測器融合。雖然今天只談這一個方面，但同時也要意識到三大系統必須協同運作，這一點十分關鍵。就算車上裝了最好的感測器，但人工智慧和控制系統都很弱的話，那肯定不是一輛好開的自動駕駛汽車。但如果你有很棒的人工智慧和控制系統，但配的感測器很糟糕的話，同樣還是會碰到問題，因為如果感測器不靈的話，汽車就沒辦法感知所處的周遭環境，繼而撞上附近的物體。

CyberneticSelf-DrivingCarInstitute的執行董事，對感測器融合特別感興趣，他認為，可以就這一話題提供一些見解。但是，正如他之前所提到的，另外兩個系統對於擁有一輛能正常運作的自動駕駛汽車同樣重要。

自動駕駛汽車需要有能探測所處環境的感測器，此外還需要有專門的子系統來控制感測器以及處理感測器收集到的數據。這些感測器可以是攝像頭，收集圖形數據；可以是雷達，通過無線電波探測物體，也可以是利用激光光波的激光雷達，還可以是超聲波感測器，等等。感測器可以分為主動感測器和被動感測器兩種：被動感測器，諸如攝像頭，只能接收外部的光，形成圖像；主動感測器的一例則是雷達，雷達可以發出無線電磁波，並接收反射回的電磁波，探測是否有物體在附近。

為了解讀所收集到的數據，需要通過某種方式將各類數據整合在一起，這一過程被稱為為感測器融合。通常，整個人工智慧處理系統會模擬出汽車周圍環境，人工智慧系統同時還會不斷接收新的感測器數據，更新模型。感測器數據融合之後，人工智慧需要決定應該採取何種行動，然後向汽車的控制系統發出合適的指令，執行這些命令。可以類比人類身體的運作方式。人的眼睛在接收了視覺圖像后，接收到的圖片會送到人的大腦。你的大腦將構建一個周圍世界的模型。基於收到的新圖像，大腦會更新模型，並推斷出身體下一步該做什麼。

假設現在你在巴塞羅那奔牛節現場。站在街轉角，等著瘋狂公牛的到來。大腦建立了一個周圍街道和行人的模型。突然你看見公牛朝著你沖了過來。公牛衝鋒的畫面會傳到你的大腦，隨後大腦更新當下情況的模型，認為你應該「撒開腳丫子跑」。然後，大腦就命令你的動起來，開始逃命。大腦命令你沿著街道逃跑，遠離公牛。

在這個類比中，我們有一個感測器，也就是人的眼睛。眼睛收集視覺圖像。眼睛本身不會處理收集到的圖像。主要功能就是收集圖像。你的眼球有一定的容錯性：即使遮住一部分視線，眼睛還是可以捕捉到圖像。就算視線被類似紗布的東西完全遮住了，眼睛的功能還是正常的，但是它也會意識到有什麼地方不對。這一信息一樣會傳到大腦。

就解讀圖像來說，眼球本身不具備處理圖像的功能。據目前所知，眼球無法識別出朝著你衝過來的是公牛。參與識別的是大腦，在接受到眼睛收集到的圖像后，大腦嘗試解讀圖片的內容和意義。大腦會對周圍環境進行監控。當你站在巴塞羅那的時候，大腦知道你在奔牛節活動現場。大腦建立的這種模型能結合環境對公牛衝鋒的圖像進行解讀。因為它意識到了，在所處的這個環境里，有可能出現公牛朝著人衝過來的情景。

假設你是站在紐約時代廣場上。模型里可能不會包含有公牛衝過來的情景。就算如此，大腦還是能處理這樣一張圖片，只不過和紐約時代廣場的模型不兼容。朝你衝過來的可能會是一輛出租，也可能是一個穿著蜘蛛俠外衣的怪咖，但是絕不會是一頭公牛。

人類有多種感官。人的大腦除了利用視覺，還會利用觸覺、能察覺怪味的嗅覺、味覺，還有聽覺來。與人類五感配套的，還有身上的各種器官。例如，耳朵是聽覺感測裝置。耳朵接收到聲音后，將信息傳給大腦。大腦試圖找出這些聲音的含義。

回到剛才巴塞羅那的那個例子，在公牛出現在街轉角之前，你可能就已經聽到了公牛的蹄聲。聽到蹄聲后，大腦會立即更新模型，加入「公牛在附近」的信息。甚至還可能命令你開始跑路。但它也可能會命令你先等著，通過眼睛確定公牛是不是朝著你衝過來。

在接收到某一感官的信息后，大腦可能需要另一感官的數據來進行對照和確認。在自動駕駛汽車上，可能只有一種感測裝置，比如說雷達。也就是說，這類自動駕駛汽車只能通過雷達探測收尾環境。就像人類只有視覺，而失去其他感官一樣。

自動駕駛汽車還可以搭載多種感測裝置——例如雷達、激光雷達、超聲波感測器。自動駕駛汽車上既有搭載單一類型的，也有搭載多種類型感測器的。拿特斯拉舉例，一輛特斯拉在前保險杠下方裝雷達單元的同時，還有有六個超聲波探測器單元，分別分佈於車外殼或者車裡。

每種類型的感測器都有不同的用途。眼睛用來看，耳朵用來聽，不同類型感測器功能也不一樣。例如，雷達用於距離探測和物體的速度，探測範圍通常在500英尺左右。超聲波感測器則用於近距離探測，探測範圍在距車3到6英尺內。這種雷達多用於常見的駕駛情景之中，檢測無人駕駛汽車前方是否有其他車輛。而超聲波感測器則用來輔助停車，因為停車時汽車需要知道附近車輛的位置。超聲波感測器還可以輔助變道，在變道的時候，感測器可以探測到視覺盲區里的車輛。

之前提過，眼睛有一定的容錯率，即使在有障礙的情況下也能獲取部分圖片。自動駕駛汽車上的感測器也同樣如此。一個雷達裝置可能會檢測到電磁波沒發出或者反射回來的電磁波信號不穩定。這有可能是雷達本身出了問題。也有可能是所探測的物體超出正常探測範圍，比方說探測範圍是500英尺，但物體距離是600英尺，所以反射回來的雷達波信號很弱。雷達也就無法確定物體到底在不在那。

也有可能會出現「鬼影」，也就是感測器探測到有物體，但實際上沒有的情況。想象你身處一間非常暗的房間里，然後覺得眼前出現了什麼東西漂浮在空中。那到底是真的有什麼東西，還是眼睛的錯覺呢？眼球會欺騙我們的大腦，基於虛假信息對大腦進行刺激。

類似的，已經有研究人員證明了，可以愚弄自動駕駛汽車上感測器。利用一些圖片，研究人員愚弄了自動駕駛汽車上的攝像頭，讓他們誤以為自己處在一個和現實不相符的場景里。想象你在巴塞羅那，但我在你眼前舉著一張紐約時代廣場的圖片，於是你的大腦會試著弄清楚到底發生了什麼：眼前的究竟是一張圖片呢？還是時空錯亂了？

研究人員還戲弄了雷達。可能大家已經聽說過，很多年前就有人藉助違規設備，糊弄警車雷達測速儀的事情。有了這種裝置后，警車雷達測速儀顯示的速度遠低於汽車實際駕駛速度。那些設備都涉嫌違法。

感測器的探測結果可能會出現「假陽性」的情況。「假陽性」是指感測器探測到實際不存在的物體的情況。假設雷達探測到車輛正前方有另一輛車停在路上。自動駕駛汽車的人工智慧系統或許會緊急剎車。但車載攝像頭傳輸的畫面卻顯示前方沒有車輛，與雷達偵測到的數據衝突。這個時候，人工智慧系統需要決定哪個才是正確的，是顯示有車輛的雷達，還是顯示沒有車輛的攝像頭。也許是因為那個物體攝像頭拍不到，但是雷達能偵測到。又或許雷達只是謊報，應該相信攝像頭，因為攝像頭拍攝的照片里沒有任何物體。

如果雷達是正確的，而且物體確實在那，但是攝像頭的照片里卻沒有物體，那麼攝像頭報告的結果就是「假陰性」。「假陰性」是指感測器顯示沒有，但是實際上卻有物體存在的情況。任何感測器在任何情況下都可能會彙報「假陰性」或者「假陽性」的情況。自動駕駛汽車的人工智慧則需要弄明白哪個是真的，哪個是假的。這對人工智慧來說很難做到。

人工智慧通常會把所有的感測器數據都列舉出來，判斷是否有哪一個感測器出錯了。一些人工智慧可能會預先設定好，認為某些感測器比其他感測器更準確，所以出現衝突的時候就依賴優先順序高的感測器。其他可能會啟用投票機制，比方說有X個感測器判斷有東西在那兒，然後又Y個感測器顯示沒有東西，若X大於Y的話，那麼人工智慧就斷定有東西在那。另一種流行的方法是隨機抽樣一致性演算法（RANSAC）。

考慮到交通道路的風險問題，相比之下，在一個不存在的物體前停下來，比汽車撞上一個沒有偵測到的物體要的情形要好得多。這就是感測器融合發揮作用的時候。感測器融合包括收集各種感測器數據，並試圖理解它們。

在一些汽車中，例如特斯拉的某些型號中，雷達和攝像頭數據在輸入至人工智慧之前，會被整合在一起。然後，人工智慧接收到的數據就是經這兩個單元融合之後的數據，而且還會與其他類型感測器收集到的數據整合在一起，比方說超聲波感測器。

之所以提到這一點，是因為對自動駕駛汽車而言，沒有必須將哪幾類感測器數據融合在一起的說法。感測器數據間的融合可以有多種組合。這一點很重要。想象一下，如果你的大腦接收到的不是來自眼睛和耳朵的原始數據，而是一些預預先處理過的。處於中間過程的感測器融合將會產生各種假設和轉變，以至於大腦對這些假設和轉變形成依賴。

自動駕駛汽車內部有一套允許設備間進行自由數據交換的網路。汽車工程師協會（theSocietyofAutomotiveEngineers）已經制定了一套稱為「控制器區域網路」（ControllerAreaNetwork,C.A.N.）的普適標準。該網路不需要計算機主機，且允許設備在網路中自由發送信息。網路上的設備會一直處於隨時準備接收信息的狀態，也就是說設備會一直檢查是否有指向該設備的信息。這些設備通常被稱為電子控制單元（ElectronicControlUnits,ECU），被視為該網路中的節點。

控制器區域網路類似於TCP-IP協議，允許在設備之間進行非同步通信，並且每個消息都包含在一個信封中，除了表示消息的ID，還包括錯誤校正代碼和消息本身。

感測器融合通常被稱為多感測器數據融合（Multi-SensorDataFusion,MSDF）。獲取了多個感測器的數據之後，會有一個低層級的分析，確定哪些感測器運作正常，哪些感測器可能有問題。MSDF將通過範例或一套方法來判斷哪些感測器可能出現故障，哪些是正常的。最終，它將發送原始感測器數據整理成的轉換信號，附帶關於這些感測器數據的一些結論，一齊傳送至無人駕駛汽車的大腦——人工智慧。人工智慧系統或者處理系統會更新環境模型，並在更高、更抽象的層級上作出決定如何處理的決定。結果通常是對汽車進行控制，比如加速、減速、左轉、右轉等等。

視野（Field-of-View,FOV）對自動駕駛汽車了解外部世界而言至關重要。例如，汽車前安全杠的雷達裝置通常會發出類似風扇的雷達探測波，但它只能偵測到汽車前方的物體。如果物體和汽車角度偏移的話，車前雷達是偵測不到的。同樣，車前雷達也無法偵測到車兩旁或者是車后的物體。人工智慧系統需要意識到，車前雷達所提供的信息僅僅是關於車政策前方路況的。也就是說，僅依靠車前雷達，自動駕駛汽車完全看不到車兩旁和車后的車輛。今天的自動駕駛汽車上，可以使用激光雷達來360度模擬周圍的環境。激光雷達利用激光脈衝，會360度不斷旋轉。如此一來，激光雷達便可全方位探測汽車周圍的物體。

當激光雷達和前置雷達、前置攝像頭以及汽車側面的超聲波感測器相結合時，可建立並維持一個更貼近現實的環境模型。你可能會想，為什麼不在無人駕駛汽車上裝一堆這樣的感測器呢？難道不是感測器越多模型也就越精確？理論上這樣做是可行的，但實際上這種做法會導致汽車成本、重量和體積增大。

自動駕駛汽車製造商都在想方設法搞清楚用多少感測器、用哪些感測器、感測器如何又該如何搭配，才能滿足自動駕駛汽車的需要。感測器越多，意味著數據也越多，但是也伴隨著計算量增大、硬體成本升高。同理，感測器越少、數據以及運算也就越少，成本也就越低。我之前提到過，特斯拉的埃隆·馬斯克說他不相信自動駕駛汽車需要激光雷達，所以特斯拉的車都沒有用激光雷達。他的說法對不對呢？目前我們還不知道。時間會告訴我們答案。

行業發展到某一程度后，會出現這樣一種局面：一些自動駕駛汽車是安全的，另一些不安全，或者說一些自動駕駛汽車比另一些自動駕駛汽車更安全。

這就是為什麼我一直預測未來自動駕駛汽車行業會進行洗牌。那些不那麼安全的感測器搭配方案會被淘汰出局。目前我們還不知道什麼是正確的組合。從理論上講，自動駕駛汽車的公路測試會揭露哪種方案是最安全的，但希望結論不是建立在人命之上。

基於感測器數據，通常需要進行多目標跟蹤（Multi-TargetTracking,MTT）。需要對原始數據進行檢查，以確定數據特徵，並執行所謂的特徵提取。

藉助攝像機的圖片，感測器融合技術發現一位行人正站在離車幾英尺遠的地方。如果擔心行人可能會走到汽車行駛路徑上的話，人工智慧可能會決定追蹤該行人。隨後，當照相機再次拍攝到行人的照片時，人工智慧便會將該行人歸類為需要追蹤的「目標」物體。如果車馬上就要撞上行人了，人工智慧可能會進行緊急制動。

人工智慧系統需要從動態和靜態兩個角度來解讀感測器數據。從靜態的角度來說，感測器數據顯示了汽車周圍的物理空間。比方說車前方有一輛車，右側有一位行人，左側有一堵牆。從動態的角度來說，人工智慧需要意識到，隨著時間的推移，事情會發生變化。例如，之前的行人現在已經從車的右邊移到了左邊。之前在前方的車已經不在前面了，因為剛才它停在路邊了。隨著各種感測器數據流入人工智慧系統，它將對數據進行實時分析。人工智慧系統出了有靜態模塊外，還需要動態模塊。

處於A位置的物體正在向B位置移動，那麼當物體到達位置B時，自動駕駛汽車應該如何應對？

所以說自動駕駛汽車不光要能識別當下環境，還必須能夠預測未來。人類司機再開車的時候也是這樣的。假設我們看到一位滑滑板的少年。他在人行道上快速移動。我估計他會從路邊跳下來，滑到我車的行駛路徑上。因此，我決定提前轉左轉彎，避免在他跳到機動車道的時候我撞上他的情況。如果我乘坐的是一輛自動駕駛汽車的話，汽車也會收集關於這名少年的各類數據，而且在其構建的環境模型里作出同樣的預測。

對於那些了解微處理器處理速度的人來說，他們可能會想，每一秒都會有大量的感測器數據產生並湧入人工智慧系統，那自動駕駛汽車是如何做到對這些數據進行實時分析並及時作出各種決定的呢？

這確實需要大量高速處理器同時運轉。

具體說來，流程應該是這樣的。首先有一幅雷達圖像被捕獲，負責雷達單元的電子控制單元（ECU）花很短的時間對捕捉到的圖像進行預處理。然後藉助控制區域網路（CAN），把圖像發送到感測器融合中心。在區域網路傳輸圖像，以及接受信息都要花時間。同時感測器融合中心也會接受來自攝像頭、超聲波感測器和激光雷達感測器的數據。感測器融合處理了所有這些數據，又需要短暫時間。最終結果被傳到人工智慧上。人工智慧需要對其進行處理，並更新環境模型。這需要時間。然後，通過控制區域網路（CAN），人工智慧向汽車控制系統發出指令，這需要時間來完成。然後，控制系統接收命令，明確它要做什麼，繼而採取實際行動。

這一切都需要時間。如果處理器的速度不夠快，導致從感測器接受數據到最終汽車作出反應之間的延遲過長的話，可能會成為一起自動駕駛汽車事故，導致有人因此喪命。

這不僅與處理器的原始速度有關，而且也與處理的內容有關。例如，如果人工智慧計算的時間過長的話，就算最終得到的決定是正確的，也沒有時間來執行。

你肯定有過這種經歷：坐在一台有人類開的車裡，司機猶豫要怎麼開，然後在路口的地方突然轉向。猶豫讓他們陷入了兩難的困境：他們要麼是在紅燈之前加速衝過路口，要麼是在路口緊急剎車。不管哪種情況，由於它們的猶豫不決，都提高了自己和周圍人的風險。自動駕駛汽車也會陷入完全一樣的困境之中。

下面是一些關於感測器和感測器融合需要考慮的因素：成本、體積、重量、可拓展性、可靠性、製冷、安裝、空間、故障自檢、報告、容錯性、靈活性、冗餘性、反戲弄。

感測器融合是自動駕駛汽車發展中的一個重要方面。對於在做的軟體工程師或計算機科學家的讀者來說，你們有很多機會來提出新思路和創新方式來改進感測器融合。

自動駕駛汽車製造商知道，良好的感測器融合對一款正常運轉的自動駕駛汽車至關重要。大多數消費者不知道感測器融合正在進行，也不知道它是如何進行的。他們只想知道，自動駕駛汽車有多神奇，能不能安全地把他們從Y點帶到Z點。感測器融合得越好，用戶們就越難以察覺其存在，我們的自動駕駛汽車也會越安全。

本文英文來源：aitrends.com ，由網易見外智能編譯平台編譯。