深度學習下的醫學圖像分析（四）

本周內（截止至7月23日晚24點）

本公眾號本周發布的所有文章，留言獲贊最多者

AI研習社 按：本文由圖普科技編譯自《Medical Image Analysis with Deep Learning Part4》，是最近發表的《深度學習下的醫學圖像分析（三）》的後續文章。

對與深度學習相關的醫療保障工作而言，2017 年的 「Nvidia GTC 大會」 絕對是一個絕佳的信息來源。在大會上，有諸如 Ian GoodFellow 和 Jeremy Howard 的深度學習專家分享了他們對深度學習的見解；還有一些頂級醫學院（例如西奈山醫學院、紐約大學醫學院、麻省綜合醫院等）和 Kaggle 在大會上介紹他們的建模戰略。

在上一篇文章中，我們談論了深度學習相關的基本內容。本文，我們將關注於醫學圖像及其格式。

本文分為三個部分——醫學圖像及其組成、醫學圖像格式和醫學圖像的格式轉換。本文希望通過對深度學習的相關知識的介紹，最終達到醫學圖像分析的目的。

由 Michele Larobina 和 Loredana Murino 發表的論文，對本文即將展開的討論來說是一個很好的信息參考。Michele Larobina 和 Loredana Murino 二人是義大利 「生物架構和生物成像協會」（IBB）的成員。IBB 是義大利 「國家研究委員會」 的組成部分，同時也是義大利最大的公共研究機構。我們的另一個參考信息資源是一篇題為《Working with the DICOM and NIfTI data standards in R》的論文。

• 什麼是醫學圖像？

醫學圖像是反映解剖區域內部結構或內部功能的圖像，它是由一組圖像元素——像素（2D）或立體像素（3D）——組成的。醫學圖像是由採樣或重建產生的離散性圖像表徵，它能將數值映射到不同的空間位置上。像素的數量是用來描述某一成像設備下的醫學成像的，同時也是描述解剖及其功能細節的一種表達方式。像素所表達的具體數值是由成像設備、成像協議、影像重建以及後期加工所決定的。

• 醫學圖像的組成

醫學圖像組成 醫學圖像有四個關鍵成分——像素深度、光度表示、元數據和像素數據。這些成分與圖像大小和圖像解析度有關。

圖像深度（又稱比特深度或顏色深度）是用來編碼每個像素信息的比特數。比如說，一個 8 比特的光柵可以有 256 個從 0 到 255 數值不等的圖像深度。

「光度表示」 解釋了像素數據如何以正確的圖像格式（單色或彩色圖片）顯示。為了說明像素數值中是否存在色彩信息，我們將引入 「每像素採樣數」 的概念。單色圖像只有一個 「每像素採樣」，而且圖像中沒有色彩信息。圖像是依靠由黑到白的灰階來顯示的，灰階的數目很明顯取決於用來儲存樣本的比特數。在這裡，灰階數與像素深度是一致的。醫療放射圖像，比如 CT 圖像和磁共振（MR）圖像，是一個灰階的 「光度表示」。而核醫學圖像，比如正電子發射斷層圖像（PET）和單光子發射斷層圖像（SPECT），通常都是以彩色映射或調色板來顯示的。

「元數據」 是用於描述圖形象的信息。它可能看起來會比較奇怪，但是在任何一個文件格式中，除了像素數據之外，圖像還有一些其他的相關信息。這樣的圖像信息被稱為 「元數據」，它通常以 「數據頭」 的格式被儲存在文件的開頭，涵蓋了圖像矩陣維度、空間解析度、像素深度和光度表示等信息。

「像素數據」 是儲存像素數值的位置。根據數據類型的不同，像素數據使用數值顯示所需的最小位元組數，以整點或浮點數的格式儲存。 圖像大小 = 數據頭大小（包括元數據）+ 行數 欄數 * 像素深度 *（圖像幀數）

放射圖像有 6 種主要的格式，分別為 DICOM（醫學數字成像和通訊）、NIFTI（神經影像信息技術）、PAR/REC（Philips 磁共振掃描格式）、ANALYZE（Mayo 醫學成像）、NRRD（近原始柵格數據）和 MNIC。

在上圖的五個格式中，DICOM 和 NIFTI 是接受度最高的。

• DICOM 格式的基本內容

DICOM 表示 「醫學數字成像和通訊」。DICOM 是由 「美國國家電氣製造商協會」（NEMA）發布的標準，這一標準規範了醫學成像的管理、儲存、列印和信息傳輸，這些都是掃描儀或醫院 「醫療影像儲傳系統」（PACS）中的文件格式。 DICOM 包括了一個文件格式和一個網路通訊協議，其中的網路通訊協議是醫療實體間使用 TCP/IP 進行溝通的一個規範和準則。 一個 DICOM 文件由一個數據頭和圖像數據組成的。數據頭的大小取決於數據信息的多少。數據頭中的內容包括病人編號、病人姓名等等。同時，它還決定了圖像幀數以及解析度。這是圖片查看器用於顯示圖像的。即使是一個單一的圖像獲取，都會有很多 DICOM 文件。

Pydicom 是用於讀取 DICOM 文件的 Python 庫，詳情請參閱文本第一部分的代碼示例。 「oro.dicom」 是用於讀取 DICOM 數據的 R-package。

• NIFTI 格式的基本內容

「神經成像信息技術創新」 將 NIFTI 格式視為 ANALYZE7.5 格式的替代品。NIFTI 最初是用於神經成像的，但它也適用於一些其他的領域。NIFTI 中一個主要的特點在於它包含了兩個仿射坐標定義，這兩個仿射坐標定義能夠將每個立體元素指標（i,j,k）和空間位置（x,y,z）聯繫起來。 Nibabel 是用於讀取 nifti 文件的一個朋友 Python 庫，「oro.nifti」 是用於讀取 nifti 數據的一個 R 工具包。

• DICOM 和 NIFTI 間的區別

DICOM 和 NIFTI 之間最主要的區別在於 NIFTI 中的原始圖像數據是以 3D 圖像的格式儲存的，而 DICOM 是以 3D 圖像片段的格式儲存的。這就是為什麼在一些機器學習應用程序中 NIFTI 比 DICOM 更受歡迎，因為它是 3D 圖像模型。處理一個單個的 NIFTI 文件，與處理上百個 DICOM 文件相比要輕鬆得多。NIFTI 的每一張 3D 圖像中只需儲存兩個文件，而在 DICOM 中則要儲存更多文件。

• NRRD 格式的基本內容

靈活的 NRRD 格式中包含了一個單個的數據頭文件和既能分開又能合併的圖像文件。一個 NRRD 數據頭能夠為科學可視化和醫學圖像處理準確地表示 N 維度的柵格信息。「國家醫學圖像計算聯盟」（NA-MIC）開發了一種用 NRRD 格式來表示 「擴散加權圖像」（DWI）和 「擴散張量圖像」（DTI）的方法。NRRD 的 「擴散加權圖像」 和 「擴散張量圖像」 數據可以被解讀為一個 「3D 切片機」，能夠直觀地確定張量圖像的方向與神經解剖的預期是一致的。 一個 NRRD 文件的大致格式（帶有數據頭）如下圖所示：

來源 http://teem.sourceforge.net/nrrd/format.html#general.1

MINC 代表的是 「醫學成像 NetCDF 工具包」。MINC 文件格式的開發始於 1992 年 「蒙特利神經研究所」（MNI）。目前，McGill 的 「腦成像中心」（BCI）正積極地對 MINC 進行進一步開發。MINC 格式的第一個版本（Minc1）是建立在標準的 「網路常見格式」（NetCDF）之上的；而第二個版本的 MINC 格式，即 Minc2，則是以 「分級數據格式第五版」（HDF5）為基礎建立的。HDF5 支持無限制的多種數據類型，它適用於靈活高效的 I/O 和高容量、複雜的數據。正是有了這些新的特性和功能，Minc2 才能處理大量的、複雜的資料庫。 以下是一些研究性論文針對這些格式數據頭所作的比較：

• 從 DICOM 格式轉換為 NIFTI 格式

dicom2nii 是將 DICOM 格式轉換為 NIFTI 格式的常見工具。一個讀取和編寫 NIFTI 文件的 Python 庫是 nibabel。如果想要將 DICOM 格式轉換為 NIFTI 格式，有很多自動轉換的工具，比如 dcm2nii。Python2 的 「dcmstack」 能讓一系列 DICOM 圖像堆疊成多維度的數組，這些數組能夠被編寫為帶有 「數據頭擴展」（DcmMeta 擴展）的 NIFTI 文件，其中的 「數據頭擴展」 其實就是一份 DICOM 文件元數據的摘要。

• 由 DICOM 格式轉換為 MINC 格式

BIC 的 MINC 團隊開發了一種將 DICOM 轉換為 MINC 圖像的工具，這個程序是用 C 語言編寫的，點擊此鏈接查看 github 報告。 由 NIFTI 或 ANALYZE 轉換為 MINC 格式 在 BIC 的 MINC 團隊開發了另外一種能夠將 NIFTI 或 ANALYZE 圖像轉換為 MINC 圖像的工具，這個程序叫做 nii2mnc。點擊此鏈接查看包括 nii2mnc 在內的一系列轉換工具。

我們在本文介紹了好幾種可以用於儲存成像和深度學習的格式。我們的目標就是利用最佳的格式，讓我們的卷積神經網路作出準確的預測。

在下一篇文章中，我們將討論如何利用其中一種格式從 CT 掃描圖像中進行肺部切割。

福利

關注 AI 研習社（okweiwu）

回復「1」立即領取

推薦閱讀

《手把手教你如何用 Python 做情感分析》

立即閱讀

圖像分析在哪些領域會有大規模應用？

歡迎在評論區分享