新的大數據應用方向，大數據救災

本文為36大數據獨家授權編譯，作者PATRICK MEIER，編譯ya楠

最近的科學研究表明，在單次20分鐘的無人機飛行期間所捕捉到的空中圖像可能需要花費半天以上的時間去分析。早些時候為了應對「帕姆」颶風，我們在世界銀行的人道主義無人機任務中飛行了幾十次。我們捕捉到的圖像足以讓一位專家分析師專心致志工作至少20個全職工作日才能搞清楚。換句話說，航空影像已經成為一個大數據問題。因此，我和我的團隊正在使用人類計算(眾包)、機器計算(人工智慧)和計算機視覺來理解這一新的大數據源。

例如，我們最近與南安普頓大學和EPFL合作，從航空影像中分析了颶風「帕姆」在萬那杜（西南太平洋島國）中所造成的破壞。這項研究的目的是為了能夠得到及時的響應解答。救援組織想要的不僅僅是受災地區的高解析度航拍圖像，他們需要的是答案；例如，受損建築物的數量和位置，流離失所的人們的數量和位置，以及還有哪些道路仍然可用來運送救援物資等。簡單地給他們圖像是遠遠不夠的。正如我在新書《數字人道主義者》中所表明的觀點那樣，援助和發展組織已經被災前災后產生的擁有巨大體量和迅猛速度的大數據所淹沒。再加上另一個數據源「空中大數據」可能是毫無意義的，因為這些組織可能根本沒有時間和能力來理解這些新數據，更不用說將結果與其他數據集成在一起了。

因此，我們分析了部署用來跟蹤颶風帕姆的MicroMappers平台的眾包結果，以確定這些數據是否可以用來訓練未來能在萬那杜遭受災難的過程中自動檢測災難損害的演算法。在整個MicroMappers的部署期間，數字志願者分析了3000多張高解析度的傾斜航空圖像，追蹤那些可能被完全摧毀、部分受損、基本完好的房屋。我和同事Ferda Ofli與Nicolas Rey（暑期和我們共事的EPFL研究所）合作，探索這些痕迹是否可以用來訓練我們的演算法。下面的結果則出自Ferda和Nicolas之手。我們的研究不僅僅是一項學術活動。萬那杜是世界上最易受災的國家。此外厄爾尼諾現象（El Niño）可能是半個世紀以來最強的一次。

根據眾包結果，1145幅高解析度圖像中沒有包含任何建築物。以上是一個簡單的直方圖，描述每幅圖中建築物的數量。萬那杜的航拍圖像是非常不均勻的，不僅在它們展示的特徵多樣性上有所不同，而且在視角和拍攝的高度也各不相同。雖然絕大多數的圖像是傾斜的，有些圖像幾乎是最低點圖片，有些則非常接近地面，甚至是在起飛之前拍的。

我們的圖像數據集的異質性使得這種圖像的自動分析更加困難。此外，我們數據集中還存在很多尚在施工中的建築物，因為它們看起來很像損壞的建築物，所以識別起來也是一個大難題。我們的第一項任務是訓練演算法，以確定任意給定的航空圖像中是否顯示了某種建築物。這是一個重要的任務，因為在我們的數據集中超過30%的圖像不包含建築物。因此，如果我們能夠開發出一種精確的演算法來自動過濾掉這些無關的圖像(比如下面的「噪音」)，這樣我們就能集中心力於處理相關圖像的眾包分析。

迄今為止雖然我們的研究結果還處於初級階段，但我們已經對所發現的東西感到欣慰了。我們訓練用來確定一幅空中圖像中是否包括建築物的演算法已經達到90%以上的精度了。更確切地說，我們的演算法能夠識別和過濾掉60%不包含任何建築物(召回率)的圖像，而且只有10%包含建築物的圖像被錯誤地丟棄(精確率為90%)。下面就是舉例。毫無疑問現在仍然存在很多的重大挑戰，所以我們希望在現階段不做出過分承諾。在接下來的步驟中，我們將探索我們的計算機視覺演算法是否能夠區分遭到破壞或者保存完好的建築物。

我們之前在萬那杜使用的無人機還需要我們操作著陸才能獲得採集到的圖像。現在越來越多的新型無人機提供了實時地將航拍圖像和視頻傳送回基地的功能。例如，大疆推出的「精靈」系列新品Phantom 3無人機(見下圖)就允許用戶將航空視頻直接發送到YouTube進行直播(假設有連接)。毫無疑問，這是無人機工業的發展方向：實時數據收集和分析。在人道主義應用中的搜索和救援等方面，實時進行數據分析是更上一層樓的。

這就解釋了為什麼我和我的團隊最近要與南安普頓大學的Elliot Salisbury & Sarvapali ram進行合作，分析來自災區的實時航拍視頻，並將這種眾包和(希望)實時機器學習和自動化特徵檢測結合起來。換句話說，當數字志願者忙著在視頻中標註災難損害時，我們希望我們的演算法能夠實時地向這些志願者學習。也就是說，我們希望演算法能夠辨析出災難破壞的程度，這樣他們以後再給定的航空視頻中就能自動識別出所遭受的任何災難。

於是我們最近進行了一項MicroMappers測試部署，使用的是人道主義任務中無人機在萬那杜的空中拍攝到的視頻。近100名數字志願者參與了這項部署。他們的任務是什麼呢?點擊視頻中任何顯示災難損壞的地方。當超過80%的志願者都在點擊相同區域時，我們會自動突出顯示這些區域，向無人機飛行員和人道主義團隊提供近乎實時的反饋。

在模擬過程中，我們有大約30位數字志願者同時點擊了視頻區域，平均每秒鐘點擊12次，並持續5分鐘以上。事實上，我們一共點擊了49,706次視頻！這為MicroMappers提供了足夠的實時數據，以作為一種災難損害評估的人機智能感測器。在準確性方面，整體點擊量中有87%的準確率。下面的模擬看起來很像是無人機飛行員，其實只是我們都在點擊屏幕。

感謝所有的視頻點擊，我們得以在無人機還在運行的過程中就導出視頻素材中最重要和相關的部分。其中的這些或那些片段再被推送到MicroMappers進行其他驗證。這些動畫體積小、速度快，將一段長長的空中視頻壓縮成最重要的鏡頭。我們現在正在分析被標記的區域，以確定我們是否可以使用這些數據來相應地訓練我們的演算法。再次強調，這不僅僅是來自學術上的好奇心。如果我們能在接下來的幾個月里開發出更加可靠的演算法，那麼我們就可以在太平洋的下一個颱風季節里有效地使用它們。

最後，非常感謝我在QCRI的團隊把我的MicroMappers的願景轉化為現實，非常感謝一年前我說我們需要將我們的工作擴展到航空圖像的時候他們就如此信任我。如果沒有MicroMappers存在，所有上述研究都是不可能的。非常感謝EPFL和南安普頓大學的優秀合作夥伴，他們與我們一起分享願景，以及他們在我們的聯合項目上的辛勤工作。最後，非常感謝來自SBTF及其以外的參與數字人道主義部署數字志願者。