Nabídka datových center se u nás stále rozšiřuje a k dispozici začíná být poměrně velký výběr možností, kam umístí vlastní servery – pokud nechcete používat plně outsourcovaný cloud. Většinou se ale jedná o řešení od konkrétních poskytovatelů, takže jste vázáni v rámci balíčku využívat i konektivitu od jednoho operátora.
To ale nemusí vyhovovat každému, obzvláště když potřebuje flexibilní přístup a možnost mít další formu zálohy, která využívá jiného operátora. Pro tyto účely jsou k dispozici i neutrální datacentra, která obsahují konektivitu od různých poskytovatelů. Jedním z takových datacenter je CE Colo, který dnes již spadá pod T-Mobile, ale zachoval si svou neutralitu už od roku 2001, kdy bylo postaveno přímo pro tyto účely.
Masivní a chytře vymyšlená konstrukce
Budova CE Colo (dříve Sitel Data Center) byla postavená přímo s tím, že půjde o datacentrum. Tomu odpovídá i silná konstrukce, která počítá s velkou zátěží (železobetonový monolit) v jednotlivých místnostech s racky a servery a kabelovými trasami. Optimalizované bylo i rozložení jednotlivých místností, aby se co nejlépe využil prostor pro servery zákazníků.
Celkem jde o tři patra s rozlohou 6 600 m2, ale pro zákazníky a skříně se servery je k dispozici 3 400 m2.
Poměr je tedy velmi efektivní, protože drtivou většinu prostoru zabírají napájecí, chladící a propojovací systémy. Redundance je N+1 případně 2N.
Protože jsme měli možnost se podívat podrobně na každý z těchto systémů, popíšeme si detaily jednotlivých částí a jejich fungování. Vzhledem k velikosti datacentra tak můžeme prozkoumat, co všechno je k běhu tak velkého datacentra potřeba a proč.
Několikastupňové zabezpečení i s otisky prstů
Základem každého datacentra je bezpečnost, která musí mít několik forem a stupňů. Každý zákazník pracuje s jinak citlivými daty, takže se počet stupňů může lišit – něco jiného je zabezpečení serverů, na kterých probíhají finanční transakce a něco jiného u serverů s webem poskytující „blogísky zdarma“.
Ostraha při vstupu je základ
První stupně jsou ale společné pro všechny – první je povolení pro vstup do okolí budovy, poté do samotné vrátnice budovy, kde je 24 hodin denně připravená ostraha. Dále se už dostanete pouze s kartou, kterou musí mít všichni – i samotní návštěvníci.
Klec s racky jednoho ze zákazníků, kde je nutné zadat pin pro přístup
Vzhledem k tomu, že má datacentrum tři patra a spousty místností, konkrétní karta je nastavená na vstup do konkrétní místnosti, což je ještě doplněné třeba pinem. Jakmile se dostanete do dané místnosti, která obsahuje spoustu skříní se servery, můžete vidět různé stupně dalšího zabezpečení.
Některé racky zákazníků jsou volně přístupné pouze přes klíč, některé jsou ještě navíc umístěné v kleci s doplňující nutností ověřit kartu a zadat pin. Největším zabezpečením, na které jsme narazili, byla zcela zakrytá klec, kde nebylo možné vidět ani na servery, doplněná nutností zadat pin, kartu i otisk prstu. Pochopitelně se v místnostech objevují různé kombinace, podle přání zákazníka. Není ale problém případně nasadit i jinou formu zabezpečení, kterou zákazník vyžaduje. Například se uvažuje i o novém způsobu biometrického ověření pomocí krevního řečiště ruky.
Vstupy do jednotlivých částí jsou navíc automaticky sledované a spravované na dálku, takže zákazník případně dostane varování, pokud do jeho části došlo k neoprávněnému vstupu, někdo zadal špatný pin a podobně.
Zákazníci obvykle posílají vlastní zaměstnance na fyzickou práci s přístupem k serverům, ale jak je poměrně běžné, lze si zaplatit službu, kdy pracovník datacentra například fyzicky resetuje server a podobně. Ve velmi zabezpečených částech to ale tak nebývá a ani pracovníci datacentra nemají do „klece“ přístup. V některých případech dokonce ani neví, co je za klecí, protože instalaci prováděli zaměstnanci daného zákazníka a nikdo jiný se tam nedostane.
Když vypadne elektřina
Napájení je jednou z nejdůležitějších částí datacentra a tomu odpovídá i redundance, která musí být připravená i pro ty nejhorší scénáře. Datacentrum CE Colo využívá dvě nezávislé větve 22 kV, které jsou rozdělené do čtyř nezávislých napájecích systémů.
Tohle nejsou vaše běžné domácí UPSky...
Záložní napájecí systém je schopen generovat 230 V, 400 V i 48 VDC a pro každý rack jsou připravené dvě napájecí větve. Pokud by výpadek nezachránilo přesměrování, takže by šlo o problém dodávky elektřiny do datacentra, jako první naskočí UPS.
Když dojdou zásoby energie z UPS, nastupuje naftový generátor
V tomto případě ale nejde o obyčejné UPS, které znáte z domova nebo práce, ale o mnohem větší modely. V rámci UPS je k dispozici několik druhů, které efektivně a bez přerušení dodají elektřinu po dobu přibližně 15 minut (dvě oddělené sady). Pokud by ani do té doby nedošlo k obnovení dodávky elektřiny, nastupují naftové generátory (GenSets N+1, 5 x 1 850 kVA).
Přímo u datacentra je vždy zásoba nafty na 24hodinový provoz při kompletním vytížení serverů a v extrémním případě je tento systém připraven pro rychlé doplnění pomocí cisteren od partnerského dodavatele.
Křižovatky optických tras
Datacentrum je postavené nad místem v Praze, kde se nachází stovky optických kabelů, což znamená tisíce optických vláken různých společností, což mu dává poměrně unikátní postavení.
Ve dvou místnostech „Meet me“ je možné snadno a relativně rychle propojovat jednotlivé zákazníky podle potřeby, což zajišťuje i efektivní provoz či případnou podporu redundance. V datacentru je přibližně 150 zákazníků, přičemž 70 z nich jsou operátoři, mezi kterými nechybí takřka všichni zahraniční. V portfolio jsou peeringové společnosti, CDN a další.
Propojení je opravdu hodně v rámci několika skříní
Pokud jde o kabely v jednotlivých místnostech se servery, obecně platí, že kabely v podlaze jsou ve vlastnictví Ce Colo, kabely nad racky jsou zákazníka, který si takto může propojovat snadno sám vlastní blízké servery a racky. Celkem 93 % dostupné plochy už je zabrané.
Ve "sklepě" se nachází obrovské množství kabelů, skrze které prochází stovky gigabitů za sekundu přes optická vlákna
Chlazení také dvojité a včasná ochrana proti požáru
V datacentra CE Colo se používá chlazená voda, která se standardně chladí pomocí „chillerů“ a jedná se o systém s největší spotřebou elektřiny kromě samotných serverů – tvoří přibližně 20 %. Stejně jako u ostatních systémů, i zde je redundance. Když je ale venku teplota nižší než deset stupňů, lze chillery vypnout a používat ke zchlazení vody venkovní nízkou teplotu.
Jednotlivé pumpy pak distribuují zchlazenou vodu do jednotlivých místností, respektive sálů (devět chladících větví). K dispozici jsou i doplňkové chillery Turbocor, které zvyšují efektivitu chlazení. Jde o uzavřený okruh, pouze výjimečně dochází k doplňování.
Všechny systémy jsou pravidelně kontrolované, testované a auditované, vyžadují to pochopitelně i samotní zákazníci
Pokud jde o případný požár, systém je postavený hlavně na tom, takové situaci vůbec předejít. To znamená, že všude jsou systémy VESDA, které neustále měří vzduch, zda se v něm nenachází nějaká abnormální hodnota částic kouře. Systém tak dokáže zareagovat mnohem dříve, než běžné kouřové senzory, kdy už může být relativně pozdě zabránit větším škodám. Pro včasně řešení je připraven Inergen, který snižuje koncentraci vzduchu na nízkou úroveň, kdy nedojde ke vznícení, respektive materiál nemůže hořet. Druhým systémem je chemické hasivo FM200.
PUE a „cheatování“ světových velikánů
V rozhovoru jsme se dostali i na téma efektivity, která se v případě datacenter určuje takzvaným indikátorem energetické efektivity – PUE (Power Usage Effectiveness). Ce Colo má hodnotu 1,7, zatímco nejmodernější datacentra Facebooku nebo Googlu se dostávají k hodnotám pod úroveň 1,1.
Moderní datacentrum Facebooku
Jak už jsme zmínili, největší spotřebu tvoří chlazení, které je u moderních úsporných datacenter řešené přírodní cestou – okolní vodou, chladným okolním vzduchem a podobně. Jedním z dalších důvodů, jak tyto datacentra dosahují tak skvělé efektivity, je snížení redundance například v rámci UPS a dalších systémů. Velké společnosti typu Amazonu a dalších už totiž používají redundanci v rámci celých datacenter, takže mohou ušetřit na lokální redundanci. To ale samozřejmě v případě českých datacenter nepřipadá příliš v úvahu a není to ani efektivní pro případnou správu a opravu.
Neustále se totiž něco opravuje, ale hlavní je, aby nikdy nedošlo k přerušení funkčnosti a zákazník tak nikdy nepocítil žádné takové opravy nebo obnovy částí systémů (například výměna UPS baterií a podobně).
Datacentrum CE Colo si můžete sami projít díky Googlu Street View.
