布線與節能：網路設計結構化與10GE網路設計要素

隨著雲計算、大數據等的大量應用、信息化持續快速發展，全球數據中心建設步伐明顯加快，其總量已超過300萬個，耗電量佔全球總耗電量的1.1%～1.5%，根據工信部披露的信息，數據中心總量已超過40萬個，年耗電量超過全社會用電量的1.5%，在大多數數據中心的PUE仍普遍大於2.2，而美國數據中心平均PUE已達1.9，先進數據中心PUE已達到1.2以下，與國際先進水平相比有較大差距。

因此，節能是數據中心必須考慮的重要問題。根據《國家綠色數據中心試點工作方案》的要求，預計到2017年，圍繞重點領域將創建百個綠色數據中心試點，試點數據中心能效平均提高8%以上。

作為無源部件的綜合布線系統與數據中心節能有什麼關係呢?如何規劃綜合布線系統才能幫助數據中心的降低PUE值?

1、網路設計結構化

(ASHRAE)技術委員會9.9(簡稱TC9.9)統計報告顯示，數據中心用電量分佈大致可分為伺服器用電佔比46%，空調製冷耗電量佔31%(數據中心這一比例可能達到50%)，UPS損耗佔8%、照明4%以及其他11%。空調製冷系統占數據中心總耗電量近三分之一，是影響機房能耗的關鍵指標。因此提高空調製冷系統的效率，可以有效降低數據中心的PUE值。

網路採用結構化布線方式后，在伺服器埠與接入層交換機之間採用水平纜線+配線架進行布線，接入交換機與核心/匯聚交換機之間採用主幹光纜+配線架進行連接，通過配線架跳線分別跳接至交換機埠和設備埠。相比於以前的點到點網路架構，結構化布線可以大大節省纜線，尤其是主幹纜線以及跳線的數量，從而節省了大量的線槽及橋架等空間，這些空間的節省將有利於冷風的流通，進而提高空調系統的製冷效率。據相關數據統計，良好的綜合布線網路架構將降低2～3%的數據中心耗用電量。

數據中心能耗已成為一個全球關注的社會話題，數據中心建設在未來的幾年內將會依然保持穩定的增長速度，同時，老的數據中心也面臨升級或搬遷的需求，這通常意味著對電力等能源的需求進一步增加，如何在維持數據中心隨業務需求升級的同時，儘可能降低能耗對數據中心相關行業都是一個嚴峻的考驗，數據中心綜合布線系統雖然僅作為一個物理層無源設備，其本身通常沒有功耗的問題(僅在採用智能基礎設施管理系統時，可能有少量耗電設備)，但是綜合布線設計及產品選型將有助於用戶降低能耗，提升PUE性能。

2、10GE網路設計要素

隨著虛擬化技術的發展，結合新的網路設計，如FABRIC，LEAF-SPINE等架構的提出，數據中心內部埠傳輸速率逐步提升。根據DELL'ORO 於2014的報告，數據中心內伺服器埠傳輸速度將逐步從1GE向10GE過度，同時，從2014年開始，40GE的需求開始出現，並預計在2年內提出新的25GE和50GE的新需求，預計於2016～2017年間，10GE將替代1GE成為伺服器埠速率的主流選擇。

表1 常用10GE埠PHY的傳輸功率

目前的數據中心架構中，10GE傳輸大部分採用的是SFP+ 互連傳輸，直到2012年，隨著第三代40nm的晶元發布后，10GBASE-T的功耗才從6W下降到4W左右。10GBASE-T埠在布線與設備成本方面比SFP+的方案有優勢，但因為PHY功率和交換設備內的散熱問題，其功耗較SFP+方案之間還有差距。

10GBase-T的初衷在於在100m通道範圍內支持10G傳輸，但是根據大量已建數據中心的鏈路長度數據分析表明，數據中心內傳輸鏈路長度有80%集中在50m左右，更有70%為30m之內。在10GBase-T剛提出時，因為要滿足通道100m時達到10W的功率，就存在外部串擾的問題。因此，IEEE在推出10Gbase-T之後，又補充了針對短距離低能耗的傳輸模式(Short Reach Mode，也稱10GBASE-T SRM30)，旨在數據中心較短鏈路情況下，在保持接收端信號水平不變時，降低發射端的功率以減小線外串擾的影響。與此同時，減小發射端功率也實現了能耗的下降，以此模式傳輸的10GBase-T將節省近1W功率。當傳輸距離進一步減少到10m時，功率進一步降到1.5W左右。10m的距離可以滿足基本所有的TOR下行應用，同時，在上走線環境下，10m可以支持相鄰2個機櫃的距離。在採用10m短鏈路架構的情況下，由於交換設備對散熱的需求降低，因此在設備設計時，可以在風扇與散熱部分有額外的空間。

從以上信息可推知，在設計數據中心架構時，若大部分傳輸鏈路設計在30m時，即可使得10GBASE-T埠的傳輸功率有較大的降低。因此可以在設計機房的機櫃排列時，盡量將布線鏈路的長度控制在30m內。30m的傳輸距離基本可覆蓋符合TIA 942和ISO/IEC 24704規定的EOR和MOR網路架構中機列的長度，並且採用了櫃內與櫃間互連的方式。10GBASE-T SRM10可以提供與SFP+相當的互通方式，使線對串擾和纜間串擾指標達到標準的要求，也可有利於降低10GBASE-T的功率。

於是，可以看到與數據中心傳輸相關的10GBASE-T的兩種傳輸模式：

10GBASE-T SR30 ：30m傳輸功率3～4W，適用於EOR/MOR架構。

10GBASE-T SR10：10m傳輸功率1.5W，適用於TOR架構。

(1)TOR架構

TOR架構會產生設置於機櫃內頂部交換機的埠閑置問題，而且交換機較少的埠使用又不能降低多少交換設備的功率。因此通過增加埠的利用率同樣能夠起到節能的作用。由此可知，EOR/MOR架構通常會比TOR架構有更好的埠利用率。這樣高密度配線模塊(2U下聯96埠)支持的TOR架構被提出來。2U交換設備因共享了風扇，背板等資源，在利用率上比2台1U交換設備有了更好的提升。

(2)40GBASE-T網路應用

40GE乙太網的布線系統，目前可選的解決方案通常為QSFP+，不過針對4對對絞電纜的40G傳輸方案已在緊密籌劃中，預計2016年相關標準可以成型，同年有產品可以問世。與10GBASE-T相仿，40GBASE-T也會考慮不同的傳輸長度與功率之間的聯繫，針對TOR和EOR/MOR架構提出了2種傳輸模型：

40GBASE-T SR30：30m傳輸功率6～9W，適用於EOR/MOR架構

40GBASE-T SR10：10m傳輸功率1～2W，適用於TOR架構

40GBASE-T相關標準還在草案階段，所提及的名稱與相關參數及資料均引自IEEE網站資料。

可見，當40GBASE-T在10m鏈路長度下已基本與10GBASE-T SR10的功率水平相仿，這是40GBASE-T制定過程中吸取了10GBASE-T教訓，無疑在未來可以給用戶提供了TOR交換機選擇時一個強有力的選項。現在QSFP+的功率水平在3.5～4W左右，TOR架構下DAC的功率水平約1.5W，從40GBASE-T的目標功率水平來看，完全可以替代現有的QSFP+和DAC互連方案，作為TOR接入的方式，而隨著晶元技術的發展，相信該功率水平還有進一步改善的空間。當引入對絞電纜獨有的EEE節能乙太網方案時，可預見有更進一步節省的空間。

(3)避免布線產品更新帶來的浪費

布線對於節能和綠色的貢獻除了在選用合適的傳輸介質降低功耗外，還可以從製造原材料的角度考慮。當採用CAT 5E或CAT 6產品作為介質時，在面臨10G及40G升級時，就需要重新布線。同樣，採用OM1/OM2光纜時，在支持10GE傳輸時，距離限制相當明顯。在重新布線過程中，會產生大量原材料浪費以及對保持運維的持續工作帶來很大影響。因此，數據中心前期規劃時，應重點考慮未來幾年傳輸需求，選擇相應的布線通道。

(4)高性能傳輸協議

當從傳輸設備的單位能耗作為考量時，不難發現採用高等級傳輸時，單位埠傳輸能耗是明顯降低的，如1GE傳輸功率通常在0.5～1W/埠，而10GE傳輸功率已降到0.5～1.5W/埠，10GE的每單位Bit傳輸功率將大幅小於1GE每單位BIT傳輸功率，同樣對40GE和100GE也是如此。

在40GE標準制定過程中，IEEE已確認同時引入25GE的速率，這個看似「倒退」的傳輸協議實際是對功率和設備傳輸優化的一個有利支持。25GE將採用單通道25G傳輸，相比40GE傳輸採用的4X10G或2X20G通道，25GE傳輸可以獲得128 I/O的3.2T設備背板100%利用率，而4X10G通道的40GE在同樣128 I/O 3.2T設備背板上只能達到47.5%的利用率，2X20G則為85%。

(5)DCIM對節能的作用

DCIM概念的提出，希望將原先數據中心內的兩大方面：基礎設施，如供電，暖通，以及IT設備，如伺服器，交換機，存儲和布線的管理統籌到一個平台上，實現數據中心整體節能和管理。此概念有別於簡單地將樓宇自動化管理系統融入數據中心，而是從整體高度來實現統一管理。

因此，DCIM所實現的不僅是基礎設施的節能減排，還應該是針對需求實現網路管理及優化，通過即將成為標準的AIM系統，對埠利用率實行實時監控及數據分析，減少數據中心內大量存在的被佔用，但是未被使用的殭屍埠的數量。據統計，每個未利用的埠所產生的額外的費用(設備、電力，人力)接近USD100/年(行業調查數據)。因此，合理有效的對埠的管理，將為數據中心節能乃至數據中心運維產生正面的影響。（來源：千家綜合布線網）