Java I/O底層是如何工作的？

原文：howtodoinjava

譯者：liken

譯文：http://www.importnew.com/14111.html（點擊閱讀原文即可前往）

本博文主要討論I/O在底層是如何工作的。本文服務的讀者，迫切希望了解Java I/O操作是在機器層面如何進行映射，以及應用運行時硬體都做了什麼。假定你熟悉基本的I/O操作，比如通過Java I/O API讀寫文件。這些內容不在本文的討論範圍。

緩衝與緩衝的處理方式,是所有I/O操作的基礎。術語「輸入、輸出」只對數據移入和移出緩存有意義。任何時候都要把它記在心中。通常，進程執行操作系統的I/O請求包括數據從緩衝區排出（寫操作）和數據填充緩衝區（讀操作）。這就是I/O的整體概念。在操作系統內部執行這些傳輸操作的機制可以非常複雜，但從概念上講非常簡單。我們將在文中用一小部分來討論它。

上圖顯示了一個簡化的「邏輯」圖，它表示塊數據如何從外部源，例如一個磁碟，移動到進程的存儲區域（例如RAM）中。首先，進程要求其緩衝通過read系統調用填滿。這個系統調用導致內核向磁碟控 制硬體發出一條命令要從磁碟獲取數據。磁碟控制器通過DMA直接將數據寫入內核的內存緩衝區，不需要主CPU進一步幫助。當請求read操作時，一旦磁碟控制器完成了緩存的填 寫，內核從內核空間的臨時緩存拷貝數據到進程指定的緩存中。

有一點需要注意，在內核試圖緩存及預取數據時，內核空間中進程請求的數據可能已經就緒了。如果這樣，進程請求的數據會被拷貝出來。如果數據不可用，則進程被掛起。內核將把數據讀入內存。

虛擬內存

你可能已經多次聽說過虛擬內存了。讓我再介紹一下。

所有現代操作系統都使用虛擬內存。虛擬內存意味著人工或者虛擬地址代替物理（硬體RAM）內存地址。虛擬地址有兩個重要優勢：

• 多個虛擬地址可以映射到相同的物理地址。

• 一個虛擬地址空間可以大於實際可用硬體內存。

在上面介紹中，從內核空間拷貝到最終用戶緩存看起來增加了額外的工作。為什麼不告訴磁碟控制器直接發送數據到用戶空間的緩存呢？好吧，這是由虛擬內存實現的。用到了上面的優勢1。

通過將內核空間地址映射到相同的物理地址作為一個用戶空間的虛擬地址，DMA硬體（只能方位物理內存地址）可以填充緩存。這個緩存同時對內核和用戶空間進程可見。

這就消除了內核和用戶空間之間的拷貝，但是需要內核和用戶緩衝區使用相同的頁面對齊方式。緩衝區必須使用的塊大小的倍數磁碟控制器（通常是512位元組的磁碟扇區）。操作系統將其內存地址空間劃分為頁面，這是固定大小的位元組組。這些內存頁總是磁碟塊大小的倍數和通常為2倍（簡化定址）。典型的內存頁面大小是1024、2048和4096位元組。虛擬和物理內存頁面大小總是相同的。

為了支持虛擬內存的第2個優勢（擁有大於物理內 存的可定址空間）需要進行虛擬內存分頁（通常稱為頁交換）。這種機制憑藉虛擬內存空間的頁可以持久保存在外部磁碟存儲，從而為其他虛擬頁放入物理內存提供了空間。本質上講，物理內存擔當了分頁區域的緩存。分頁區是磁碟上的空間，內存頁的內容被強迫交換出物理內存時會保存到這裡。

調整內存頁面大小為磁碟塊大小的倍數，讓內核可以直接發送指令到磁碟控制器硬體，將內存頁寫到磁碟或者在需要時重新載入。事實證明，所有的磁碟I/O操作都是在頁面級別上完成的。這是數據在現代分頁操作系統上在磁碟與物理內存之間移動的唯一方式。

現代CPU包含一個名為內存管理單元（MMU）的子系統。這 個設備邏輯上位於CPU與物理內存之間。它包含從虛擬地址向物理內存地址轉化的映射信息。當CPU引用一個內存位置時，MMU決定哪些頁需要駐留（通常通過移位或屏蔽地址的某些位）以及轉化虛擬頁號到物理頁號（由硬體實現，速度奇快）。

文件I/O總是發生在文件系統的上下文切換中。文件系統跟磁碟是完全不同的事物。磁碟按段存儲數據，每段512位元組。它是硬體設備，對保存的文件語義一無所知。它們只是提供了一定數量的可以保存數據的插槽。從這方面來說，一個磁碟的段與 內存分頁類似。它們都有統一的大小並且是個可定址的大數組。

另一方面，文件系統是更高層抽象。文件系統是安排和翻譯保存磁碟（或其它可隨機訪問，面向塊的設備）數據的一種特殊方法。你寫的代碼幾乎總是與文件系統交互，而不與磁碟直接交互。文件系統定義了文件名、路徑、文件、文件屬性等抽象。

一個文件系統組織（在硬碟中）了一系列均勻大小的數據塊。有些塊保存元信息，如空閑塊的映射、目錄、索引等。其它塊包含實際的文件數據。單個文件的元信息描述哪些塊包含文件數據、數據結束位置、最後更新時間等。當用戶進程發送請求來讀取文件數據時，文件系統實現準確定位數據在磁碟上的位置。然後採取行動將這些磁碟扇區放入內存中。

文件系統也有頁的概念，它的大小可能與一個基本內存頁面大小相同或者是它的倍數。典型的文件系統頁面大小範圍從2048到8192位元組，並且總是一個基本內存頁面大小的倍數。

分頁文件系統執行I/O可以歸結為以下邏輯步驟：

• 確定請求跨越了哪些文件系統分頁（磁碟段的集合）。磁碟上的文件內容及元數據可能分佈在多個文件系統頁面上，這些頁面可能是不連續的。

• 分配足夠多的內核空間內存頁面來保存相同的文件系統頁面。

• 建立這些內存分頁與磁碟上文件系統分頁的映射。

• 對每一個內存分頁產生分頁錯誤。

• 虛擬內存系統陷入分頁錯誤並且調度pagins（頁面調入），通過從磁碟讀取內容來驗證這些頁面。

• 一旦pageins完成，文件系統分解原始數據來提取請求的文件內容或屬性信息。

需要注意的是，這個文件系統數據將像其它內存頁一樣被緩存起來。在隨後的I/O請求中，一些數據或所有文件數據仍然保存在物理內存中，可以直接重用不需要從磁碟重讀。

文件加鎖是一種機制，一個進程可以阻止其它進程訪問一個文件或限制其它進程訪問該文件。雖然名為「文件鎖定」，意味著鎖定整個文件（經常做的）。鎖定通常可以在一個更細粒度的水平。隨著粒度下降到位元組級，文件的區域通常會被鎖定。鎖與特定文件相關聯，起始於文件的指定位元組位置並運行到指定的位元組範圍。這一點很重要，因為它允許多個進程協作訪問文件的特定區域而不妨礙別的進程在文件其它位置操作。

文件鎖有兩種形式：共享和獨佔。多個共享鎖可以同時在相同的文件區域有效。另一方面，獨佔鎖要求沒有其它鎖對請求的區域有效。

並非所有的I/O是面向塊的。還有流I/O，它是管道的原型，必須順序訪問I/O數據流的位元組。常見的數據流有TTY（控制台）設備、列印埠和網路連接。

數據流通常但不一定比塊設備慢，提供間歇性輸入。大多數操作系統允許在非阻塞模式下工作。允許一個進程檢查數據流的輸入是否可用，不必在不可用時發生阻塞。這種管理允許進程在輸入到達時進行處理，在輸入流空閑時可以執行其他功能。

比非阻塞模式更進一步的是有條件的選擇（readiness selection）。它類似於非阻塞模式（並且通常建立在非阻塞模式基礎上），但是減輕了操作系統檢查流是否就緒準的負擔。操作系統可以被告知觀察流集合，並向進程返回哪個流準備好的指令。這種能力允許進程通過利用操作系統返回 的準備信息，使用通用代碼和單個線程復用多個活動流。這種方式被廣泛用於網路伺服器，以便處理大量的網路連接。準備選擇對於大容量擴展是至關重要的。

到此為止，對這個非常複雜的話題有一大堆技術術語。

如果你有想法和疑問，請給給我發評論。