Электроснабжение ЦОД. Анализ особенностей системы электропитания и наиболее распространенных точек отказа

Это первая часть материала, посвященного вопросам энергоснабжения ЦОД - анализ особенностей системы электропитания и наиболее распространенных точек отказа.

Отключение питания в дата-центре равносильно сердечному приступу. На этапе проектирования ЦОД компании определяют необходимый стандарт надежности (к примеру, Tier 1-4) и уровень избыточности, но возможность сбоя системы электропитания всерьез не рассматривается. Однако, сбои случаются как в небольших серверных помещениях с единственным ИБП, так и на крупных площадках, имеющих, казалось бы, «полное резервирование». Ниже представлены некоторые очевидные и не слишком очевидные причины отключения питания и способы предотвращения возможных проблем.

Линия питания: Затраты и допустимый риск

Проектирование дата-центра, как правило, осуществляется на базе соотношения затрат и «допустимого» риска. Не будем углубляться в детали требований Uptime Institute’s Tier 1-4, для чего потребовалось бы затронуть другие темы, помимо электроснабжения. Достаточно будет сказать, что самой простой конфигурацией линии питания является схема типа «N» (или Tier 1), не обладающая избыточностью. Каждый компонент такой схемы является единичной точкой отказа (SPOF).

Линия питания берет свое начало на мощностях энергетической компании и принадлежащих ей высоковольтных линиях электропередачи. Затем, питание попадает на подстанцию или местный трансформатор и оттуда поступает в ЦОД. Распределение питания осуществляется через главный силовой щит объекта и через последующие дополнительные электрощиты, каждый из которых снабжается предохранителем или пробками.

Если на объекте установлен генератор, то питание должно пройти через автомат безопасности (ATS) и поступить на главный распределительный щит, питающий ИБП. Если площадка оснащена переключателем на байпас (MBP), то питание проходит через него. Главный распределительный щит питает также прочее оборудование, в том числе компоненты системы охлаждения. Далее, питание обычно поступает с ИБП или MBP на стенной распределительный щит или на напольный модуль распределения питания, который оснащен предохранителями для каждой ветви электрической цепи.

Затем, питание обычно поступает в расположенное внутри серверного шкафа (или возле него) приемное устройство, оснащенное стоечным сетевым фильтром, который также может быть снабжен предохранителем или пробками. Наконец, питание подается на ИТ-оборудование по кабелю (как правило, сменному), который вставляется в сетевой фильтр.

Как это ни странно, на подобных объектах сбои питания происходят сравнительно редко. Объекты с конфигурацией линии питания типа N являются достаточно надежными, и многие небольшие ЦОД с такой схемой питания могут работать годами безо всяких происшествий.

Повышение доступности: линия питания типа N+1

Существует ряд стратегий по устранению слабых мест схемы питания типа N, не требующих перехода на конфигурацию типа System + System (S+S) с полным резервированием, соответствующую стандарту Tier 4 и являющуюся избыточной по всем компонентам линии питания.

Следующим уровнем после N является N+1, что (в схеме питания), как правило, обозначает массив ИБП и генераторов, используемый на более крупных объектах. В такой схеме, обычно, три или более модулей ИБП соединяются параллельно для разделения нагрузки. Схема типа N+1 также предусматривает штатную работу массива ИБП при отказе одного из устройств.

Существует также схема избыточного распределения питания типа A-B, когда питание поступает на ИБП, а вслед за ним на еще один ИБП или на массив типа N+1, откуда оно в свою очередь поступает в серверные шкафы. Это позволяет построить систему с избыточностью уровня распределения питания при цене ниже в сравнении с системами типа 2N с полным резервированием.

Наконец, в схеме типа 2N A-B с полным резервированием, каждая линия питания может независимо поддерживать критический уровень нагрузки. Такая схема обычно используется в ЦОД стандарта Tier 4. Резервируются все компоненты: две линии питания от разных энергетических компаний, два набора генераторов и ATS. Каждый N+1 массив ИБП является автономным и имеет свою линию распределения типа A-B для подачи питания на стойки (система типа S+S).

Теоретически, такая схема должна гарантировать, что при отказе любого компонента на одной из линий питания, другая линия сможет поддерживать критический уровень нагрузки. Однако, стандарты Tier 3 и Tier 4 предусматривают создание нескольких точек пересечения между двумя линиями питания, что позволяет переключить питание с одной линии на другую для выполнения техобслуживания и поддерживать критический уровень нагрузки в штатном режиме. Данные точки пересечения предоставляют потенциальную угрозу: линии питания больше не являются полностью автономными.

Если в процессе передачи питания возникает проблема по причине отказа оборудования, либо человеческого фактора, может произойти отключение всей площадки. В конечном счете, сложность схемы питания и установка дополнительного оборудования может привести к снижению надежности системы вместо ее увеличения.

Распространенные точки отказа: стоечные сетевые фильтры и предохранители ответвленных электрических цепей

Наиболее частой проблемой, связанной с электропитанием на микроуровне, как правило, на уровне стойки, является перегрузка предохранителей стоечных сетевых фильтров или предохранителей ответвленных электроцепей, через которые питание подается на сетевые фильтры. Если не используется сетевой фильтр со встроенным амперметром, не производится мониторинг тока в ответвленных электроцепях или ручное измерение на распределительном щите, то невозможно отследить уровень тока в ответвленной электроцепи. В результате, подключение нового ИТ-оборудования оказывается похожим на игру в русскую рулетку. И даже если предохранитель не сработает немедленно, вполне возможно, что электрическая цепь работает на пределе. Если энергопотребление оборудования вырастет под большой загрузкой, нагрузка на цепь также вырастет, что приведет к срабатыванию предохранителя из-за перегрузки.

Как уже было сказано, даже схема питания типа 2N с полным резервированием не может гарантировать надежность системы электроснабжения. ИТ-специалисты зачастую не понимают правил загрузки электроцепи на уровне стойки при использовании избыточной схемы передачи типа A-B. Единственным способом обеспечения избыточности является слежение за тем, чтобы общий ток (A+B), проходящий по двум линиям питания, не превышал 80% от величины тока, на которую рассчитана каждая из линий.

К примеру, рассчитанную на 20А цепь можно нагружать не более, чем на 16А. Как правило, это означает, что если в серверных шкафах стоит оборудование с двойными блоками питания, то каждую линию можно нагружать не более, чем на 40% (то есть, 8А для вышеупомянутой цепи). Если происходит превышение данных значений при отключении одной из линии питания (из-за местной перегрузки, либо внешнего отключения питания), при переключении линии произойдет перегрузка, что приведет к каскадному отказу оборудования.

Более того, в связи с появлением новых требований к энергоснабжению серверов высокой плотности типа 1U и blade, на стойку все чаще подается трехфазное питание. Указанные выше правила могут быть применены к трем фазам – перегрузка одной из них приведет к срабатыванию трехфазного предохранителя. Поэтому, необходимо учесть, что если уровень питания по одной из фаз превысит 40% от допустимого значения, может произойти потеря избыточности и каскадный отказ оборудования. Единственным способом этого избежать является мониторинг в режиме реального времени для каждой электроцепи и тревожный сигнал, предупреждающий о возможной перегрузке.

Содержание

1. Первая часть - Анализ особенностей системы электропитания и наиболее распространенных точек отказа
2. Вторая часть - Сбои электропитания и основные причины их возникновения.