Pierwszym zagadnieniem, które należy rozważyć przy projektowaniu centrum przetwarzania danych jest kryterium jego dostępności. Międzynarodowy standard TIA-942 (Telecommunications Industry Association’s) wyróżnia cztery poziomy dostępności.

  • poziom  I –  99,671% dostępności (Tier I)
  • poziom II – 99,741% dostępności (Tier II)
  • poziom III – zapewnia 99,982% dostępności (Tier III)
  • poziom IV – zapewnia 99,995% dostępności (Tier IV)

Na parametry dostępności największy wpływ ma niezawodne zasilanie i na tym zagadnieniu skupimy się w niniejszym opracowaniu.

Z poziomami dostępności data center wiążą się określone poziomy zasilania:

  • poziom I – jeden tor zasilania, bez UPS czy generatora (N), podatny na zakłócenia planowane i nieplanowane. Czas oddania do użytku: 3 miesiące;
  • poziom II – jeden tor zasilania, dostępny UPS i agregat (N+1), mniej podatny na zakłócenia. Czas oddania do użytku: 6 miesięcy;
  • poziom III – dwa lub więcej torów zasilania (jednak jeden dostępny w danym momencie). UPS i agregat (N+1). Praktycznie możliwość dostępności ciągłej zasilania bez przerw, jednakże wrażliwy na nieplanowane awarie. Czas oddana do użytku: ok. półtora, do dwóch lat;
  • poziom IV – dwa lub więcej torów zasilania (dwa lub więcej aktywne), poziom redundancji na poziomie 2 (N+1). Ciągła dostępność centrum przetwarzania danych, jest odporny na jedną awarię (jednego z torów). Czas oddana do użytku: ok. półtora roku, do dwóch lat.

Z powyższego wynika, że projektowanie serwerowni, szczególnie największych obiektów, należy rozpocząć  z bardzo dużym wyprzedzeniem. Ustalenie, w jak dużym stopniu chcemy zabezpieczyć systemy końcowe przed przerwami w zasilaniu, determinuje czas potrzebny na uruchomienie data center.

Po pierwsze sieć

Podstawowym zagadnieniem przy wyborze miejsca na serwerownię jest dostęp do stabilnego i ciągłego źródła zasilania z sieci. Oznacza to, że na terenie Polski przed przystąpieniem do dalszych prac należy uzgodnić z operatorem energetycznym warunki przyłączenia do sieci średniego napięcia. W przypadku budowy bardzo dużych ośrodków serwerowych istnieje potrzeba przyłączenia bezpośrednio do zasilania z najwyższych napięć. Wówczas lokalizacje centrów przetwarzania danych należy planować w miejscach, w których dostępne są dwie lub więcej redundantne linie wysokiego napięcia. Dobra lokalizacja uniezależnia serwerownie od ewentualnych przeglądów linii wysokiego napięcia czy stacji transformatorowych.

Drugą kwestią jest sposób podejścia zasilania do centrum przetwarzania danych (CPD). Projektując obiekt, trzeba uwzględnić planowe wyłączenia i konserwacje. Jeżeli decydujemy się na zapewnienie dwóch lub więcej torów zasilania, należy przyjąć podejście od budynku z dwoma niezależnymi trasami kablowymi, z jednej lub dwóch stacji transformatorowych, w zależności od Tier. Stacje transformatorowe mimo zabudowy dwóch lub więcej transformatorów z średniego na niskie napięcie, powinny być oddzielone od siebie (tzn. posiadać osobne budynki). Ma to znaczenie w sytuacji, kiedy trzeba wykonać przegląd stacji transformatorowej, która wiąże się zazwyczaj z wyłączeniem całej stacji, mimo tego że w środku zabudowane są minimum dwa transformatory.

Kontynuując projektowanie zasilania dla Centrum Przetwarzania Danych, trzeba się zastanowić nad bezpieczeństwem obiektu, w tym zasilania. O ile nie jesteśmy w stanie ochronić zasilania przychodzącego od dostawcy energii, możemy jednak podjąć pewne kroki na terenie obiektu. Zabezpieczenie fizyczne obiektu oraz zastosowanie aktywnego systemu monitoringu ma ochronić nas przed ewentualnymi próbami sabotażu instalacji. Zabezpieczenia na zamki kluczowe wraz z zamkami elektronicznymi (karty dostępowe) zapewniają poziom ochrony ograniczający zaawansowane próby dostępu do instalacji elektrycznych.

Dlatego też w przypadku obiektów dedykowanych pod centra przetwarzania danych stacje transformatorowe są częścią budynków serwerowni.  Przesunięcie stacji transformatorowej bliżej odbiorów (serwerów, macierzy) ma również wymiar ekonomiczny. Przesył prądu przy średnim napięciu (SN) jest obarczony mniejszymi stratami niż przy niskim napięciu (NN). Po drugie można zastosować przewody o mniejszej średnicy, co wpływa na końcową cenę inwestycji.

System załączenia rezerwy

Jednakże zasilanie przychodzące z sieci nie zapewnia 100% zasilania CPD. Znane są sytuacje awarii systemu elektroenergetycznego, tzw. blackout. Przykładem jest sytuacja z kwietnia 2008 r., kiedy to po intensywnych opadach mokrego śniegu Szczecin wraz z przyległymi powiatami na wiele godzin został pozbawiony zasilania. Dlatego aby zabezpieczyć się przez podobnymi sytuacjami, w inwestycji należy zaplanować systemy bezprzerwowego zasilania UPS, agregaty prądotwórcze oraz systemy załączenia rezerwy.

System załączenia rezerwy (SZR) stanowi połączenie wielu linii j z agregatem. Stanowi zabezpieczenie na wypadek zaniku zasilania i odpowiada za automatyczne uruchomienie agregatu prądotwórczego. W czasie, który jest wymagany do poprawnego uruchomienia agregatu (około 45 s), zasilanie jest podtrzymywane przez system UPS. SZR stanowi podstawę do zachowania pełnej sprawności zasilania dla CPD. Jest stosowany już przy II poziomie dostępności, natomiast przy IV poziomie jest zdublowany.

Nowoczesne systemy załączania rezerw posiadają system powiadomień o zmianach statusów poprzez interfejsy (np. RS485 z ModBus, SNMP). Ważne jest również, by SZR nie tylko potrafił zareagować przy całkowitym zaniku zasilania z linii, ale również przy obniżonym napięciu lub utracie jednej z faz.

UPS

Linia obejścia, tzw. bypass, jest wykorzystywany podczas prac konserwacji urządzeń UPS oraz w momentach gwałtownych przeciążeń UPS.

Wprowadzenie układu sytemu bezprzerwowego zasilania (UPS) stanowi podstawę dla ciągłości funkcjonowania. Układ UPS zabezpiecza odbiory (tzn. serwery, macierze dyskowe, przełączniki sieci LAN/WAN itp.) poprzez:

  • stabilizację napięcia zasilania z wymaganą tolerancją. Oznacza to, że napięcie pochodzące z sieci (od operatorów) zostanie wyrównanie. Przykład napięcia przez i za UPS przedstawiono na schemacie powyżej/obok,
  • zmniejszenie poziomu emisji zakłóceń elektromagnetycznych,
  • możliwość przełączenia odbiorów na inne źródło zasilania (np.agregaty prądotwórcze).

Zachowanie odpowiednich warunków pracy baterii powoduje przedłużenie ich żywotności, a tym samym mniejsze koszty utrzymania systemów UPS.

Przykład napięcia przez i za UPS (linia powyżej 230 V – zasilanie z sieci, linie poniżej 230 V – pomiary napięcia na wyjściu z UPS-ów)

Zasilanie w szafie RACK

W przypadku zasilania na poziomie III i IV, kiedy podejście pod szafy następuje dwutorowo, warto zastanowić się nad zastosowaniem STS lub ATS (bardziej STS – static transfer switch). STA lub ATS (automatic transfer) stanowią wyposażenie szaf RACK w przypadku użycia urządzeń jednozasilaczowych. Dzięki zastosowaniu ATS przełączenia zasilania pomiędzy redundantnymi obwodami zasilania nie stanowią zagrożenia dla urządzeń końcowych.  Przykładem zastosowania są przypadki prac konserwacyjnych oraz zwarcie instalacji jednego z torów zasilania.

Aby zapanować nad całością pracujących urządzeń i posiadać wiarygodne informację o bieżącym obciążeniu obwodów jedno- i trójfazowych, warto na każdy poziomie zasilania zastosować pomiar natężenia prądu i mocy czynnej zużywanej przez urządzenia.  Wówczas jesteśmy w stanie ocenić rzeczywiste obciążenia poszczególnych szaf RACK, a co za tym idzie, zaplanować, ile urządzeń jest w stanie bezpiecznie obsłużyć instalacja elektryczna.

Ze względu na stosowanie przez dostawców sprzętu różnych rodzajów przyłączy należy podczas projektowania CPD rozważyć przyłącza dla szaf RACK zarówno 1-fazowe, jak i 3-fazowe. W przypadku 1-fazowego zasilania niemożliwe są zbyt mocne zagęszczenia mocy w jednej szafie. Dlatego też dla szaf RACK wymagających zasilania na poziomie 20 kW stosuje się dwutorowe zasilanie 3-fazowe. Gniazda w kolorze czerwonym o prądzie znamionowym 32A na fazę umożliwiają bezpieczny zapas nawet dla najbardziej wymagających odbiorów.

Kompensacja mocy biernej

W celu zachowania poprawnych parametrów mocy wymagalnej przez dostawcę energii elektrycznej należy zastosować kompensatory mocy biernej. Kompensatory mogą być umieszczone zarówno na poziomie rozdzielni NN, jak również w urządzeniach UPS. Kompensacja jest wymagana, ponieważ urządzenia serwerowe podczas pracy „oddają” tzw. moc pozorną, która oddawana do sieci operatora, może spowodować nałożenie przez niego kar pieniężnych.

Przeglądy

Aby zapewnić kompletność  funkcjonowania zasilania w centrum przetwarzania danych, należy zaplanować przeglądy infrastruktury. Przegląd, oprócz wzrokowej weryfikacji urządzeń, musi obejmować również weryfikację termiczną obwodów, głównie na poziomie systemu załączenia rezerwy, jak również na zabezpieczeniach nadprądowych.

Energia w planowanie

Przed przystąpieniem do budowy centrum przetwarzania danych należy się zastanowić, czy będziemy w stanie zapewnić wystarczający poziom i jakość zasilania dla inwestycji. Należy również pamiętać, że samo powołanie CPD jest tylko kosztem inwestycji. Instalacja zasilania wymaga bezpośredniego nadzoru i stałej dostępności wyspecjalizowanej obsługi. Z drugiej strony przy małych inwestycjach miesięczne koszty energii elektrycznej mogą być na tyle wysokie, że długoterminowo okażą się nieopłacalne.

Outsourcing IT w BCC Data Centers

BCC (aktualnie All for One Poland) realizuje usługi z zakresu outsourcingu IT w oparciu o własne centra przetwarzania danych, zlokalizowane w podpoznańskich Złotnikach.

All for One Data Centers to nowoczesna i bezpieczna infrastruktura techniczna (dwa bliźniacze centra przetwarzania danych w różnych lokalizacjach), organizacja pracy oraz procedury oparte na najwyższych standardach pracy (m.in. System Zarządzania Bezpieczeństwem Informacji zgodny z ISO 27001 oraz System Zarządzania Usługami IT zgodny z ISO 20000), wydzielona organizacja serwisowa i kilkudziesięcioosobowy zespół doświadczonych specjalistów technicznych i serwisowych. Systemy i sieci klientów są monitorowane  przez specjalistów BCC w trybie 24/7.

Korzystanie z All for One Data Centers oznacza dla klientów gwarantowane bezpieczeństwo systemów i danych, skalowalność i wydajność usług IT i optymalizację kosztów utrzymania IT. Usługi BCC cechuje indywidualne podejście do każdego klienta. Dla firm korzystających z SAP dodatkowe potwierdzenie posiadanych kompetencji oraz potencjału BCC do świadczenia usług outsourcingu SAP stanowią statusy SAP Certified Provider in Hosting Services oraz SAP Certified Provider in Cloud Services.