Фото-экскурсия по ЦОД Amadeus (г. Мюнхен, Германия)

Экскурсия в ЦОД, который управляет большинством мировых авиалиний

Добро пожаловать в крупнейший гражданский ЦОД в Европе.  Из этого здания, расположенного вблизи Мюнхена, Amadeus управляет IT-системой, имеющей информацию о подавляющей доле операций, совершаемых туристическими агентствами, авиакомпаниями, круизными компаниями, железнодорожными операторами, и самими путешественниками.

На фото изображено высокое прямоугольное здание – офис Amadeus, более широкое, угловатое здание содержит шесть пожарных отсеков (машинных залов) и производственное помещение ЦОДа. Объект расположен на небольшом расстоянии от волоконно-оптических сетей, обслуживающих крупный европейский хаб и находится на более менее безопасном с точки зрения наводнений и землетрясений участке.

Однако выбор места больше обусловлен усилиями местных властей, которые старались захватить бизнес в области после того, как три крупнейшие компании-учредители Amadeus – Lufthansa, Air France и Iberia - поделили между членами свои операции. Корпоративная штаб-квартира Amadeus находится в Мадриде (Испания)  и насчитывает 500 сотрудников. Пункт разработки программного обеспечения расположен на юге Франции (2500 сотрудников), управление офисом в Германии идет тоже отсюда.

Amadeus описывает объект как три ЦОДа в одном здании, занимающем 25 000 кв.м. Каждый из этих трех ЦОДов состоит из двух пожарных отсеков (серверных), обслуживаемых одной "технической ячейкой» (комната с ИБП, холодильным оборудованием, ДГУ и др.).

Каждая техническая ячейка (обслуживающая две серверные комнаты)включает ИБП мощностью 3000 кВт, которая в 10 раз больше, чем первоначальная мощность объекта (1990 г.). Общий объект связан с двумя подстанциями, способными обеспечить мощность до 12 МВт.

В здании также есть главный операционный центр компании Amadeus, который следит за состоянием приложений и услуг, предлагаемыми компанией своим клиентам из туристической индустрии, а также есть комната контроля безопасности и комната контроля за работой ЦОД. Любопытно, что сотрудники операционного центра, занимающиеся управлением и IT (аппаратное обеспечение), попадают на объект из отдельных соседних туннелей. Для того чтобы попасть на объект обычно требуются устройство для считывания карт, пин-коды и проверочные устройства.

Различное оборудование, сети и системы хранения в ЦОДах Amadeus в совокупности образуют единую систему, которая обрабатывает большое число путешествий по миру.

Заказываете ли Вы тур в туристическом агентстве, непосредственно в авиакомпаниии или с помощью стороннего веб-сайта (например,  Expedia или Opodo), вы, вероятно, являетесь одним из 500 000+ клиентов баз данных в секунду.

В 2011 году ЦОД Amadeus обработал 948 млн. операций. Также было время, когда было обработано более миллиарда запросов, а это порядка 3,7 млн. ​​бронирований в день. Пункт также руководит работой программного обеспечения, которая происходит за пределами авиакомпаний - такие системы как контроль отправления, посадка клиентов на самолеты, управление полетами, управление запасами, бронирование и электронная продажа билетов. А недавно Amadeus расширил свои услуги до бронирования отелей, круизов и т.д.

Оборудование в ЦОД Amadeus связано с помощью 7000 км волоконно-оптических кабелей. Есть несколько соединений по 2,5 Гб, поступающих на объект и из него различными путями.

Amadeus предоставляет услуги “Private G-WAN” (сеть IP MPLS) для таких клиентов, как Qantas. Amadeus имеет в своем распоряжении выделенную, фиксированную полосу частот от своих партнеров-перевозчиков, поставляемую компанией Amadeus на всем пути к объектам авиакомпаний, чтобы гарантировать качество обслуживания.

Архитектура шести машинных залов предусматривает резервирование, но нет двух одинаковых ячеек. Оборудование, необходимое для услуг Amadeus, как правило, распределяется между различными ячейками, и клиенты объединены в группы между различными пожарными отсеками для того, чтобы в случае аварийной ситуации пострадало ограниченное число клиентов.

На экскурсии мы увидели серверы IBM, Sun и HP, оборудование Cisco для коммутации и хранения данных от IBM  и EMC. Но что зацепило взгляд, так это мэйнфреймы. Они традиционно составляют ядро системы Amadeus. Amadeus работает с четырьмя мэйнфреймами IBM и пятым для тестирования.

Во время данного репортажа инженеры переходили с z9 до  z10. Однако, это, вероятно, последнее поколение, в которое будет инвестировать средства Amadeus. Компания все больше и больше работает с открытыми вычислительными платформами. Бóльшая часть Amadeus, DCS и систем инвентаризации уже работают на x86.

Это то, чем постепенно заменяются мэйнфреймы. Несмотря на то, что в эксплуатации много серверов x86, эти блейды - последний выбор. Однако некоторое неудобство всё же есть. Блейды в этом корпусе не могут охлаждаться воздухом, поступающим из-под фальшпола. У них есть свой собственный воздух со специальным  механизмом охлаждения, встроенным в стойку, которая требует отдельного источника воды и насоса.

ЦОД был построен 25 лет назад по архитектуре, которая предполагала низкую стоимость на энергию. Кроме того, считалось, что оборудование не может безопасно работать ниже температуры 20°. Сегодня ASHRAE сообщает, что ИТ-оборудование может работать при температурах до 27 градусов. В Amadeus хотели бы запустить ИТ-оборудование при более высокой температуре и, таким образом, сэкономить на стоимости электроэнергии, но устаревшее оборудование не позволяет.

Старые мэйнфреймы Amadeus требовали 50 кв.м. (по сравнению с 10 кв.м. сегодня). По мере того, как новые меньшие модели заменяли их, Amadeus стал хранить оборудование не в задней части зала, а в передней, но не чередуя холодные и горячие коридоры. А ведь именно эта архитектура стала стандартом энергосбережения десять лет спустя. Перемещение некоторых старых машин сегодня потребует времени, которое компания просто не может себе позволить.

Те площадки в ЦОДе, где организация холодных/горячих коридоров не возможна, создают "воздушное короткое замыкание" - горячий воздух из одного оборудования попадает в поток холодного воздуха. Для этого был создан ряд простых подвижных белых стен, которые отделяют теплый и холодный воздух. Каждый градус, на который Amadeus может поднять температуру в машзале, экономит около 10 000 евро в год.

Холодный воздух подается в ЦОД через фальшпол высотой 800мм. Некоторое оборудование также требует проведения кабеля, который заходит в стойку снизу. В прошлом Amadeus просил своих поставщиков просверлить небольшие отверстия в полу для этих кабелей. Но это создало две проблемы.

Первая – это потеря драгоценного холодного воздуха, подкачиваемого из-под фальшпола. Вторая - отверстия могли ослабить плитки. Когда новые машины переносились по фальшполу, существовал риск того, что некоторые - весом более тонны - могли провалиться сквозь фальшпол.

С тех пор в Amadeus изобрели "систему тетрис”, состоящую из металлических крышек, что, в сочетании с щетками, позволяет блокировать потерю холодного воздуха и может выдерживать экстремальный вес, при этом обеспечивая кабельные вводы. Благодаря этому вентиляторы в Amadeus работают в более эффективном диапазоне, и экономия энергии составляет около 40 000 евро в год.

Толщина стен составляет 1 метр, двери сертифицированы T90 (способные противостоять пожарам с температурой до 1000 градусов в течение 90 минут). Здание также предназначено для поглощения взрыва. Здесь вы можете увидеть решётчатую систему, которая после настройки техниками автоматически определяет, какое оборудование нуждается в починке. Решётчатая система соответствует размеру напольной плитки и до сих пор используется для ориентирования службы техподдержки.

На изображении служебный коридор между пожарным отсеком и технической ячейкой. Внутри пожарного отсека находится углекислый газ, смертельно опасный для людей. Это еще одна причина почему Amadeus невероятно строго относится к правилам доступа. Кабели, которые выходят за пределы охраняемой территории с углекислым газом, покрыты белой пастой, которая защищает их от воспламенения на случай, если они вступят в контакт с искрой.

А вот одна из трёх «технических ячеек» Amadeus. Здесь изображена серия холодильных машин. ЦОД Amadeus работает с  резервированием N+1, всегда имея одну единицу запасного оборудования для каждых двух работающих. Эти холодильные машины получают теплую воду от ЦОД, охлаждают её и подают в машинные залы.

Amadeus также работает в режиме  непрямого свободного охлаждения в течение порядка 200 дней в году. В те дни, когда температура наружного воздуха ниже 12 градусов (и нет слишком большой влажности), теплый воздух из машзалов поступает на крышу, где рассеиваются на большой площади как туман, охлаждается наружным воздухом и возвращается в ЦОД. При этом необходимость включать чиллеры отпадает.

Система ИБП построена по схеме N+1. ИТ-оборудование подключается к двум PDU, а каждый машзал обслуживается двумя отдельными шинами электропитания.

Amadeus имеет в общей сложности 12 дизель-генераторов, каждый из которых представляет собой 12-цилиндровый дизель, прикреплённый к генератору, который обеспечивает до 1.2 МВт мощности. Таким образом, если понадобится, то две из этих установок смогут обслуживать весь ЦОД.

Дизелям требуется 8-10 секунд  для того, чтобы раскрутиться. В баках хранится 200 000 литров дизельного топлива, этого для трех дней работы. Баки могут наполнять даже во время работы генераторов.

По материалам www.itnews.com.au