ЦОДы Нью-Йорка после урагана Сэнди

Рассказ о восстановлении ЦОДов Нью-Йорка после урагана Сэнди.

Затопленный холл в здании Verizon, расположенном по адресу 140 West street. Фотография сделана во время разгула стихии ночью 29 октября.

Во время урагана и сразу после негособытия развивались стремительно: некоторые отключенные площадки возобновили свою работу, в то время как другие объекты наоборот вышли из строя. Ряд наиболее пострадавших ЦОД планировались к запуску 1 ноября, когда энергетическая компания Con Edison должна была начать подачу электричества в районы города, расположенные ниже 34й улицы. Ниже приведен краткий отчет о состоянии расположенных на Манхеттене дата-центров, пострадавших от урагана Сэнди:

Verizon Business

Масштаб повреждений на объектах, принадлежащих Verizon Business, стал широко известен в среду и был детально описан в материале, подготовленном Wall Street Journal.

«Штаб-квартира компании – ключевой коммуникационный хаб, расположенный по адресу 140 West street, чуть севернее того места, где когда-то находился всемирный торговый центр – был в ужасающем состоянии. Такого не случалось со времен атаки 11 сентября 2001г., когда здание было частично разрушено», - сообщил Wall Street Journal. «Стены холла были покрыты грязью. Три с половиной подземных этажа из пяти все еще находились под водой, соленая вода скрывала лестничные пролеты. По сообщениям работников Verizon, случившееся 29 октября наводнение было настолько мощным, что были сорваны защитные кожухи, покрывавшие заведенные в здание кабели. В результате, под водой оказалось критически важная кабельная шахта, через которую коммуникационные кабели распределяются на расположенное в верхней части здания коммутационное оборудование, которое не было повреждено».

Verizon опубликовала в корпоративном блоге фотографию затопленного здания, на которой видно, что уровень воды в холле достигает не менее метра.

«Небывалый удар стихии и сильное наводнение привели к затоплению ряда помещений на принадлежащих Verizon объектах», - заявили представители компании. «Работники Verizon смогли оперативно установить насосное оборудование и начать процесс откачки воды. Поскольку критически-важное коммуникационное оборудование (речевые коммутаторы, маршрутизаторы и аппаратура передачи данных) расположено на верхних этажах зданий, оно не было повреждено во время наводнения. Однако, частично пострадало оборудование резервного питания, в том числе распределительные устройства, генераторы и топливные насосы, что привело к задержке восстановления ЦОД».

«Технические работы по восстановлению во многих районах осложняются сотнями блокированных дорог, высоким уровнем воды, принудительной эвакуацией, которая ограничивает доступ к объектам, непрекращающимся снегом, поваленными деревьями и прочим мусором», - добавила компания. «Verizon зачастую вынуждена ждать, пока энергетические компании восстановят принадлежащее им оборудование и объявят район безопасным прежде, чем техники компании смогут взяться за восстановление дата-центров».

Internap: 75 Broad Street

Из затопленного подвала в здании по адресу 75 Broad Street все еще откачивается вода. По состоянию на полдень 31 октября, в здании по-прежнему остается 4,5 метра воды. Тем временем, клиенты дата-центра ищут свои методы решения возникших проблем.

«В настоящее время на объекте восстановлено питание и связь», - сообщили представители Internap. Электричество было подано в 11:20 утра во вторник 30 октября. «Все клиенты уже могут пользоваться услугами ЦОД, питание обеспечивают генераторы, работающие в штатном режиме. Запаса топлива на объекте хватит более чем на сорок часов работы, в наличии у нас вторая цистерна, из которой мы будем пополнять основной бак по мере необходимости».

Работа дата-центра Peer 1, расположенного на 75 Broad Street, поддерживалась командой служащих и клиентов ЦОД, которые вручную поднимали дизельное топливо с помощью ведер на 17 этаж здания к расположенному на крыше генератору.

«В нашем распоряжении на крыше помимо основного полного бака еще более тысячи литров топлива, что позволит ЦОД исправно функционировать всю ночь», - сообщила Squarespace, компания-клиент Peer 1, участвовавшая в восстановлении работы дата-центра. «В помощь служащим Peer 1, Fog Creek и Squarespace, мы наняли дополнительных людей из Бруклина и Квинса. Мы с осторожным оптимизмом надеемся, что подъем топлива на крышу продолжится и завтра, или даже послезавтра, если понадобится».

Atlantic Metro

Вечером 31 октября Atlantic Metro отчиталась об успехах по восстановлению нескольких ЦОД компании, пострадавших от наводнения и сбоев электроснабжения. Компания регулярно сообщала о текущем статусе работ через твиттер:

LGA1 (325 Hudson Street) – Вышедший из строя топливный насос был заменен 31 октября, что позволило нам перезапустить генератор. Впоследствии генератор отключился, для ремонта потребовались запчасти. «В настоящее время расположенный в здании на 325 Hudson St. генератор функционирует исправно», - сообщили представители компании утром 1 ноября. «Питание и связь в ЦОД были полностью восстановлены. Клиенты могут возобновить работу».

LGA4 (121 Varick Street) – Помещение, в котором расположен генератор, было серьезно затоплено. «Представители компании Cummins Generator выяснили, что генератору был нанесен непоправимый ущерб», - сообщили служащие Atlantic Metro вечером 31 октября. «Мы заказали  временный генератор, который должен быть доставлен 1 ноября».

Datagram

Представители Datagram сообщили вечером 31 октября, что откачивание воды из затопленного подвала в здании по адресу 33 Whitehall в нижнем Манхеттене почти завершено. Однако, здание останется без питания до тех пор, пока энергетическая компания Con Edison не включит электричество, что вряд ли произойдет в ближайшее время из-за сильного затопления в районе, где расположен ЦОД. Datagram сообщила, что  мобильный резервный генератор мощностью 2МВт прибудет на объект в четверг 1 ноября. Дата-центр, поддерживающий работу таких высоконагруженных сайтов, как Gawker и Buzzfeed, находится в отключенном состоянии с момента удара стихии вечером 29 октября.

Datagram ведет живой блог, в котором публикует информацию о развитии событий.

111 8^th Avenue

В расположенном по адресу 111 8^th Avenue здании Google, где находится оборудование десятков телекоммуникационных компаний, произошло несколько кратковременных отключений питания в связи с отказом генераторов.

Представители Internap сообщили, что расположенный в этом здании ЦОД компании отключился ночью 30 октября вслед за отказом топливной системы. «Когда это произошло, топливные насосы перестали качать дизельное топливо в расположенные на крыше генераторы, что привело к обесточиванию систем ИБП», - сообщили представители Internap в своем блоге. «Когда запас энергии в резервных батареях подошел к концу, питание ЦОД прекратилось. Инцидент привел к частичному отключению сетевых служб до тех пор, пока не было выполнено восстановление питания. В настоящее время возобновлено обслуживание всех клиентов, и восстановлено питание в большей части ЦОД. Мы продолжаем работы по восстановлению объекта».

Equinix также сообщила о проблемах в дата-центре на 111 8th. «Ранним утром 31 октября на нашей площадке NY9 отключился генератор, что привело к приостановке обслуживания ряда клиентов», - сообщили представители компании. Был выполнен ремонт, и предоставление сервисов было восстановлено через 1 час 15 минут.

Integrate.Manhattan

Здание проекта Integrate.Manhattan компании Sabey, расположенное на 375 Pearl Street, находилось на границе зоны первоочередного риска, но не было повреждено во время наводнения. «Само здание прекрасно пережило шторм», сообщил Джон Сэби, президент Sabey Data Centers, в интервью Puget Sound Business Journal. «Однако, район, где расположена высотка Sabey, остался без света», - добавил он.

Из-за шторма запуск первой стадии проекта будет отложен, заявил Сэби. Согласно плану, открытие должно было состояться в январе. «Мы вынуждены отложить открытие на несколько недель», - сообщил он.

Обзор происходивших 29 и 30 октября событий можно посмотреть по ссылке: Massive Flooding Damages Several NYC Data Centers.