數據中心機房供電配電及能效管理系統設計

本文部分內容引用微信公眾號：數據中心運維管理，《淺談數據中心機房供電配電系統設計》

摘要：

現代的數據中心中都包括大量的計算機，對于這種場(chǎng)所的電力供應，都要求供電系統需要在所有的時(shí)間都有效，這就不同于一般建筑的供配電系統，它是一個(gè)交叉的系統，涉及到市電供電、防雷接地、防靜電、UPS不間斷供電、柴油發(fā)電機等，每個(gè)系統互相交叉，互有影響，這就使我們在設計時(shí)需要考慮多方面的因素。本文從數據中心的高壓供電系統到末端精密配電系統介紹數據中心供配電及能效管理系統的設計。

1、系統概述

現代的數據中心機房中都包括大量的計算機，對于這種場(chǎng)所的電力供應，都要求供電系統需要在所有的時(shí)間都有效，擴容容易，維護簡(jiǎn)便，容錯力強，*重要的是性?xún)r(jià)比高。數據中心機房是現代信息化建設的基礎工程，為各個(gè)業(yè)務(wù)提供穩定、安全的工作環(huán)境，而機房的供配電系統就是這基礎工程的心臟和大動(dòng)脈，供配電系統的穩定，能夠保障其它系統發(fā)揮作用和核心業(yè)務(wù)正常運行。系統不同于一般建筑的供配電系統，它是一個(gè)交叉的系統，涉及到市電供電、防雷接地、防靜電、UPS不間斷供電、柴油發(fā)電機等，各個(gè)系統互相交叉，互有影響，這就使我們在設計時(shí)需要考慮多方面的因素。

2、設計標準

數據中心有專(zhuān)門(mén)的設計標準，數據中心電信基礎標TIA-942《數據中心電信基礎設施標準》，是2005年4月由美國電信產(chǎn)業(yè)協(xié)會(huì )(TIA)、TIA技術(shù)工程委員會(huì )(TR42)和美國國家標準學(xué)會(huì )(ANSI)批準的。國內的相關(guān)規范和標準也是綜合國外標準以及國內數據中心建設發(fā)展情況做出的，數據中心設計規范GB50174—2008《電子信息系統機房設計規范》也于2008年l1月12日發(fā)布，2009年6月1日開(kāi)始實(shí)施。

設計一個(gè)數據中心首先需要根據用戶(hù)重要性和業(yè)主對數據中心可靠性、安全性等的具體需求，確定機房等級．再按照相應等級確定適合的供配電系統。國內的數據中心首先需要滿(mǎn)足國內規范的要求。GB 50174—2008中關(guān)于數據中心的分級規定如下：電子信息系統機房應劃分為A、B、C三級。設計時(shí)應根據機房的使用性質(zhì)、管理要求及其在經(jīng)濟和社會(huì )中的重要性質(zhì)確定所屬級別。

3、設計原則

數據中心供配電系統設計應執行或參照執行國家和行業(yè)相關(guān)標準、規范，并可參考國外相關(guān)標準、規范，結合考慮數據中心用電負荷密度高、供電可靠性要求高等特性采取適當的技術(shù)措施。同時(shí)，應滿(mǎn)足項目建設單位的企業(yè)標準、規范的要求。

數據中心供配電系統設計應遵循分區、分級的原則，同一功能區域內的各類(lèi)設備的供電可靠性，應能保證所有設備能夠按照該區域標準的要求運行，并將供配電系統局部故障的影響面控制在盡可能小的范圍。

數據中心用電負荷密度高、總量大，其供配電系統設計中應充分運用成熟有效的節能措施，降低供配電系統的損耗。

4、數據中心機房供配電系統需求分析

隨著(zhù)信息技術(shù)的迅速發(fā)展和互聯(lián)網(wǎng)的普及，社會(huì )各界對信息系統的應用越來(lái)越廣泛，信息和數據量呈幾何級增長(cháng)，由此對數據中心的需求日益增加，對數據中心的要求也不斷提高，信息設備功能越來(lái)越強，功率密度越來(lái)越高。數據中心設備機柜用電負荷由以前的2kVA/臺，提高到3kVA/臺、4kVA/臺，甚至更高。機房單位面積的平均用電負荷也由1kVA每平方，提高到1.5kVA每平方、2kVA每平方，甚至更高。

數據中心用電負荷的統計應分為兩個(gè)層次，即：UPS供電系統負荷(輸出)和市電供電系統負荷。市電供電系統負荷(輸出)的統計主要包括：UPS供電系統(輸入)、機房精密空調系統、機房照明及建筑電氣設備等。UPS供電系統負荷(輸入)＝供電負荷+充電負荷。機房精密空調系統負荷＝N臺主用空調機組額定負荷容量×負荷率。UPS供電系統負荷(輸出)的統計主要包括：計算機設備、服務(wù)器、存儲、網(wǎng)絡(luò )設備、小型機等，在負荷設備明確時(shí)，按設備數據統計，具體負荷設備不明確時(shí)，按設備機柜平均負荷統計。設備機柜數量也不明確時(shí)，可按機房面積平均負荷估計。

在發(fā)熱量較大的情況下，如果柴油發(fā)電機未能及時(shí)啟動(dòng)而導致精密空調失電停止工作超過(guò)3分鐘，機柜內服務(wù)器溫度將會(huì )急劇升高而宕機，因此在可靠性要求比較高的情況下精密空調也可由UPS提供不間斷電源，在柴油發(fā)電機啟動(dòng)前利用剩余冷凍水繼續保持機柜氣流循環(huán)散熱，直到發(fā)電機全部啟動(dòng)。

5、數據中心機房供配電系統設計

5.1 供配電系統的布置 

數據中心機房供配電系統主要設備有：UPS、電池、配電柜和柴油發(fā)電機等。這些設備單位占地面積、重量大，對于這些設備的擺放位置既要考慮功能上的需求，又要考慮空間和承重的需要，還要考慮對外界的危害。

數據中心機房供電系統應有獨立的配電間、變配電所，UPS 電源機房應靠近設備機房(負荷中心)布置，這樣能保證從UPS輸出到用電設備之間的壓降和損耗盡可能的小。UPS 電源主機、配電柜與蓄電池組是否需要分隔，按照數據中心等級的要求決定，另外還需要考慮到UPS屬于大型設備，重量比較大，噪聲大，需要擺放在一個(gè)承重比較好，并且不影響辦公和休息環(huán)境的地方。配電柜位置的選擇，主要考慮功能上的需求，配電柜應在滿(mǎn)足功能分區的基礎上，盡可能靠近供電負載。發(fā)電機房宜設置在地面一層，當發(fā)電機房設置于地下層時(shí)，應特別注意進(jìn)、出風(fēng)通道能否滿(mǎn)足要求，應注意發(fā)電機組儲油裝置（日用油箱、儲油罐）的消防要求。

變配電所、發(fā)電機房、UPS電源機房均應留有足夠的面積，可與設備機房同步發(fā)展，應對設備機房面積擴展或設備機房功率密度上升引起的供電需求。于非專(zhuān)門(mén)設計用于數據中心的建筑，應注意其是否滿(mǎn)足設備安裝和線(xiàn)路敷設的要求，包括樓面荷載、凈高、抗震等級、耐火等級等方面。

下圖為典型數據中心的供配電系統示意圖，采用雙路110kV進(jìn)線(xiàn)，配置10kV柴油發(fā)電機作為自備應急電源，UPS采用冗余供電方式，末端精密配電柜和精密空調均采用UPS供電，提高數據中心運行穩定性，見(jiàn)圖1。

圖1 數據中心典型供配電系統示意圖

5.2 供配電系統設計 
5.2.1 市電動(dòng)力配電系統設計

為了提高數據中心供電可靠性，減少電網(wǎng)故障的干擾，大型數據中心一般采用110kV甚至更高電壓等級市電電源，根據當地供電條件確定。市電動(dòng)力配電主要用于供給機房精密空調設備、普通照明和給排風(fēng)、維修插座、一般動(dòng)力、UPS設備等。市電動(dòng)力配電一般由大樓總配電柜饋出的動(dòng)力供配電系統，采用50Hz交電，380/220V三相五線(xiàn)電源，TN-S接地方式，零線(xiàn)和地線(xiàn)分開(kāi)設置且零地線(xiàn)之間電壓小于1V。

一般可靠性要求數據中心宜引入兩路市電電源，條件受限制時(shí)也可引入一路市電電源。引入兩路市電電源時(shí)，宜為冗余關(guān)系，也可作為供電容量擴展關(guān)系。

每一路市電電源的供電容量應能滿(mǎn)足全部一、二級負荷的需求，包括UPS電源系統、機房精密空調、機房照明、蓄電池充電及建筑設備中的一、二級負荷。兩路市電電源的供電容量應為全冗余，正常時(shí)應同時(shí)供電運行，兩路電源在負荷設備輸入端自動(dòng)切換。

圖2 110kV變電站或10kV開(kāi)閉所保護測控裝置配置示意圖

市電動(dòng)力配電柜一般采用放射式配電直接配至各用電設備或電箱，機房?jì)人袆?dòng)力配電線(xiàn)纜需要設計橋架或鋼管敷設，市電動(dòng)力配電柜具有火警聯(lián)動(dòng)保護功能，出現火警時(shí)可與消防系統聯(lián)動(dòng)及時(shí)切斷電源，動(dòng)力配電柜、照明箱內的開(kāi)關(guān)和主要元器件應設置有效的防雷措施。

表1 110/10kV變電站和10kV開(kāi)閉所、變電所保護測控裝置選型表

圖3 0.4kV配電柜測控裝置配置示意圖

表2 0.4kV配電柜測控裝置選型表

5.2.2自備應急電源系統設計  

數據中心一般采用柴油發(fā)電機組作為自備應急電源，對于大型、高等級數據中心也可以選擇可靠性高、輸出電源品質(zhì)好、帶非線(xiàn)性負載能力強、體積小、重量輕的大功率燃氣輪機發(fā)電機組。一般可靠性要求的數據中心宜配置一路自備應急電源，供電容量應能滿(mǎn)足全部一、二級負荷的需求，包括UPS電源系統、機房空調、機房照明、蓄電池充電及建筑設備中的一、二級負荷。當數據中心條件受限制，且市電電源具有較高可靠性時(shí)，也可以部分或全部采用移動(dòng)式發(fā)電機組作為自備應急電源。發(fā)電機組燃料儲備量應根據數據中心等級的要求，結合市電電源可靠性、供油可靠性、消防要求綜合決定，一般不宜少于發(fā)電機組滿(mǎn)負荷運行8小時(shí)的用油量。

圖4 10kV柴油發(fā)電機室保護測控裝置配置示意圖

表3 10kV柴油發(fā)電機保護測控裝置選型表

5.2.3 UPS供配電系統設計  
　　UPS配電主要用于計算機設備、服務(wù)器、小型機、存儲、網(wǎng)絡(luò )設備、保安監控設備等。UPS 電源系統輸出一般采用三級配電方式：系統輸出配電柜－機房配電柜－機柜配電單元。

UPS電源系統蓄電池組容量的計算方法有以下兩種：

(1) 按負荷電流計算；

(2) 按負荷功率計算；

按負荷電流計算的結果是蓄電池組的總容量，然后再選擇單組蓄電池的容量和組數。按負荷功率計算的結果是選定容量規格的蓄電池組數。兩種計算方法的結果可互相校驗。

對于單電源輸入設備，即使已采用雙單元冗余UPS 電源系統，也宜將其連接在其中一個(gè)單元上。對于雙單元冗余UPS電源系統，可將其每個(gè)單元中的部分容量視為并聯(lián)冗余性質(zhì)。對于需要雙回路供電的單電源輸入設備，宜在其輸入端設置靜態(tài)轉換開(kāi)關(guān)STS。靜態(tài)轉換開(kāi)關(guān)STS 的性能應能滿(mǎn)足其要求，一般轉換時(shí)間小于5～10ms。

當負荷設備對零－地電壓要求較高時(shí)，可在機房配電柜設置隔離變壓器。有時(shí)候為保證UPS故障旁路后輸出高質(zhì)量電源，往往在UPS旁路輸出端設置隔離變壓器。

數據中心UPS供配電系統一般采用冗余方式供電，很少采用單機供電。冗余方式供電能在一臺UPS設備故障時(shí)，仍然能夠滿(mǎn)足機房?jì)戎匾O備的用電需求，這是單機供電所不能達到的。從冗余式配置方案來(lái)看，常用的有以下幾種方式：

熱備份式冗余UPS供電方式 

主機帶負載，備機空載或帶非重要負載，備機接入主機的BYPASS(旁路)輸入端。這種方式布置比較靈活，不需要兩臺UPS同品牌，而且不要增加額外輔助電路，不增加購置成本。如果UPS主機發(fā)生了故障，那么UPS備機需要接替全部負載，這也就意味著(zhù)設計時(shí)需要計算好UPS主機故障時(shí)，UPS備機所需承擔的總負載。此方式的缺陷在于UPS備機得具有階躍性負載承載能力，無(wú)法對電源系統進(jìn)行擴容，兩臺容量不同的UPS相聯(lián)，只能按*小的UPS容量輸出。

直接并機冗余UPS供電方式 

為克服熱備份式冗余供電系統的弱點(diǎn)，隨著(zhù)UPS控制技術(shù)的進(jìn)步，具有相同額定輸出功率的UPS可直接并聯(lián)而形成冗余供電系統，為保證高質(zhì)量的并機系統，各電源間需要保持同頻、同相、且各機均流。此供電方式瞬間過(guò)載能力強，能夠自動(dòng)均分功率，系統互為主備，提高供電可靠性，電源系統擴容方便。但是存在著(zhù)環(huán)流，增加無(wú)功損耗，降低系統可靠性，需增加額外輔助電路，隨之而來(lái)是增加成本，增加故障點(diǎn)。設計時(shí)，如2臺互備，每臺按照50%帶載能力考慮，并聯(lián)的主機越多，單臺主機的帶載能力就越低。

雙總線(xiàn)冗余供電方式 

雙總線(xiàn)供電方式是采用兩條總線(xiàn)對后端設備進(jìn)行供電，每條總線(xiàn)上具有相同的一套UPS供電方式，消除可能出現在UPS輸出端與*終用戶(hù)負載端之間的“單點(diǎn)瓶頸"故障隱患，以提高輸出電源供電系統的“容錯"功能。此供電方式能夠在線(xiàn)維護，在線(xiàn)擴容，在線(xiàn)升級，改善了重要總線(xiàn)的可用性，滿(mǎn)足了雙電源用電設備的需求，真正實(shí)現了7×24×365運行的目標。但是雙總線(xiàn)冗余供電方式相當于搭建了兩套前述供電方式的回路，需要增加2倍以上的成本。同時(shí)，為滿(mǎn)足單電源設備的供電需求，可在輸出端安裝STS，來(lái)保證供電輸出的可靠性?！　?/span>

UPS供電系統是滿(mǎn)足數據中心供電可靠性的核心部分，而蓄電池又是整個(gè)系統中*重要的組成之一，是整個(gè)供電系統的“*后一道屏障"。當組串中的一只電池因過(guò)充、過(guò)放等原因造成電池性能下降，電池內阻增大，會(huì )導致電池出現發(fā)熱、鼓包等現象，將造成供電系統安全性的整體下降，同時(shí)增加蓄電池充放電的損耗。

圖5 數據中心UPS和蓄電池監測配置示意圖

表4 數據中心蓄電池監測選型表

5.3 末端配電系統

機房UPS、精密空調電源系統輸入應設置專(zhuān)用的輸入配電柜。電源系統輸入配電柜應引接兩路電源、自動(dòng)切換。UPS 電源主機的主電源和旁路電源應分別引入，并宜由不同的輸入配電柜引接。UPS電源系統輸出應采用放射式、雙回路配電方式。UPS 電源系統輸出應采用三相配電，末端分相，以利三相平衡。

機房配電柜、UPS電源柜落地安裝，動(dòng)力配電箱、照明配電箱底邊距地1.4m墻上暗裝，配電柜及其他電氣裝置的底座應與建筑樓地面牢靠固定，并接地，機房?jì)葢謩e設置維修和測試用插座，且有明顯區別標志，測試用電源插座應由UPS供電，維修插座由市電供電。所有線(xiàn)路的敷設是要以設備布局和設計圖紙為基礎進(jìn)行，設計時(shí)考慮供電距離盡量短，機房?jì)鹊碾娫淳€(xiàn)、信號線(xiàn)和通信線(xiàn)應分別鋪設，不能共走同一線(xiàn)槽，UPS電源配電箱(柜)引出的配電線(xiàn)路，穿鍍鋅鋼管，沿機房活動(dòng)地板下敷設至各排網(wǎng)絡(luò )或服務(wù)器機柜，使用插座或工業(yè)連接器為機柜供電。

5.3.1 精密配電柜

精密配電柜是為數據中心的設備機柜提供電源的末端配電設備，一般采用雙回路供電，電源分別來(lái)自?xún)膳_冗余的UPS，分為交流和直流供電，一般放置在機柜陣列的兩端，也稱(chēng)列頭柜，如圖6所示。

圖6 ANDPF精密配電柜

安科瑞精密配電監控解決方案針對精密配電柜監控數字化要求，方案包括交流（AC220V）、直流（DC-48V/240V/336V）系統。由觸摸式液晶顯示屏、綜合信息處理主機模塊、開(kāi)關(guān)狀態(tài)采集模塊、電流互感器(交流)或霍爾傳感器(直流)采集單元模塊等組成。監測兩路主進(jìn)線(xiàn)和A+B雙面饋線(xiàn)回路電量參數、開(kāi)關(guān)狀態(tài)、諧波含量、柜內溫濕度等數據，可以在本地觸摸屏顯示，同時(shí)可以上傳AcrelEMS-IDC數據中心能效管理系統顯示和報警。產(chǎn)品方案見(jiàn)表5。

表5 精密配電柜數字化方案產(chǎn)品選型

5.3.2 智慧母線(xiàn)槽

近年來(lái)隨著(zhù)數據中心建設的快速發(fā)展，智能母線(xiàn)槽的方案運用越來(lái)越多。相比傳統精密配電柜，數據中心母線(xiàn)槽架空鋪設，具有安裝檢修方便、不占地、散熱快、易增容等優(yōu)勢。母線(xiàn)槽通過(guò)始端箱從前端UPS取電，以母排系統組成輸電結構，采用即插即用的方式，通過(guò)插接箱給各個(gè)IT機柜內的PDU供電。

圖7 智能母線(xiàn)槽數據采集方案示意圖

安科瑞智能母線(xiàn)槽方案在始端箱和插接箱內配置AMB100/AMB110監測單元，測量始端箱、插接箱電壓、電流、頻率、有功功率、無(wú)功功率、功率因數、有功電能、無(wú)功電能、諧波畸變、溫濕度、漏電電流等數據，可以通過(guò)有線(xiàn)或無(wú)線(xiàn)方式傳輸數據，在本地觸摸屏顯示，同時(shí)可以上傳數據中心能效管理系統，實(shí)現母線(xiàn)槽的數據展示和異常預警。

另外由于母線(xiàn)槽是由銅制母排搭接而成，接頭部位可能會(huì )由于接觸不良而異常發(fā)熱，所以需要對母線(xiàn)槽接頭溫度進(jìn)行實(shí)時(shí)監測，安科瑞AMB200母線(xiàn)接頭溫度監測裝置進(jìn)行接觸式測溫，AMB300通過(guò)紅外非接觸式測溫方式監測母線(xiàn)溫度，數據通過(guò)有線(xiàn)或無(wú)線(xiàn)方式傳輸本地觸摸屏顯示，同時(shí)可以上傳數據中心能效管理系統，實(shí)現母線(xiàn)槽溫度的實(shí)時(shí)預警，設備選型如表6所示。

表6 智能母線(xiàn)槽解決方案選型表

5.4 數據中心能效管理系統設計

AcrelEMS-IDC數據中心能效管理系統搭建基于高、中、低壓配電系統、柴油發(fā)電機、UPS的實(shí)時(shí)監控和末端配電系統數據采集的電力監控、PUE分析以及動(dòng)環(huán)監測，幫助數據中心管理者全面了解數據中心能源運行情況，并關(guān)注消防和電氣安全，及時(shí)預警異常情況，保障數據中心穩定可靠運行。除了變電站、柴油發(fā)電機和UPS運行監控以外，特別是針對數據中心的末端配電環(huán)節，系統數據跟蹤到每一個(gè)回路的電氣參數和開(kāi)關(guān)狀態(tài)、溫濕度數據等。

圖8 數據中心能效管理系統架構圖

5.4.1 電力監控

監控110kV變電站、10kV開(kāi)閉所、10/0.4kV低壓變配電室配電系統運行情況，實(shí)現遙測、遙信、越限報警、故障分析、電能質(zhì)量分析、運行報表等功能。

5.4.2 設備監控

監測柴油發(fā)電機、變壓器、UPS、蓄電池組、精密配電柜、精密空調的狀態(tài)以及運行參數，并提供異常預警、運行報表等功能。

5.4.3 能耗分析

統計數據中心總能耗、IT設備能耗、制冷系統能耗、供電系統能耗、照明及辦公能耗等分項用能，并計算CLF/PLF/PUE等能耗指標。

5.4.4 環(huán)境監測

監測數據中心溫濕度、水浸，蓄電池內阻、溫度、電壓、蓄電池間氫氣濃度等數據并提供越限告警和聯(lián)動(dòng)控制。

5.4.5 精密配電柜或小母線(xiàn)運行監測

系統監測精密配電柜或母線(xiàn)槽系統電氣接點(diǎn)溫度以及漏電電流，并設置溫度、漏電越限告警，及時(shí)消除系統隱患。系統監測每路饋線(xiàn)回路的電流、功率、開(kāi)關(guān)狀態(tài)和用電量，還可以配置溫度、濕度傳感器用于監測線(xiàn)路接點(diǎn)溫度和柜內濕度，設置參數高低越限告警，避免回路超負荷運行而導致意外斷電。

5.4.6 故障預警

系統對數據中心的故障類(lèi)型進(jìn)行分級分類(lèi)處理，可以通過(guò)語(yǔ)音、文字彈窗、短信等方式提供故障預警信號，并對故障進(jìn)行分類(lèi)展示。

5.4.7 運維管理

系統為數據中心提供設備管理和運維管理功能，包括設備臺賬、設備保養、工單管理、巡檢記錄、缺陷管理、搶修記錄等功能，告別依靠手工記賬，降低人力和時(shí)間成本。

結束語(yǔ)

不同用途或等級的數據中心對可靠性的要求不同，直接關(guān)系到數據中心的建設投資和運營(yíng)成本。數據中心供配電系統是數據中心*重要的基礎設施，應在數據中心建設初期予以統籌考慮和全面規劃，并根據數據中心對供電可靠性的要求，在供電電源選擇、供配電系統布置、供配電系統結構和形式等方面采取相應的技術(shù)措施。同時(shí)，還應充分運用成熟有效的節能措施和能效管理系統，降低供配電系統的損耗，減少運營(yíng)成本。