Методы обеспечения электропитания стоек

(Техническое руководство №29 от APC) Описание и сравнение альтернативных методов обеспечения электропитанием стоек с повышенной энергетической плотностью в компьютерных центрах и серверных залах.  В частности, рассмотрены вопросы, связанные с количеством линий питания (однофазные и трехфазные топологии), количеством и расположением предохранителей, стойкостью к перегрузке, выбором типов розеток, выбором стандарта напряжения, резервированием и потерей резервирования.  Определена и количественно оценена потребность  стоечной системы питания в адаптации к изменению требований.  Определены требования для стоечных систем электропитания, обеспечивающих надежное питание нагрузок с высокой энергетической плотностью, а также адаптацию к изменению их характеристик.

Введение

Обновление ИТ-оборудования компьютерного центра или серверного зала происходит, как правило, с периодичностью от 2 до 3 лет.  В результате замены оборудования нередко меняются требования к мощности, стабильности напряжения, уровню резервирования и соединительным разъемам системы питания.  Стойки и шкафы стали стандартными средствами для монтажа и организации компьютерных и телекоммуникационных систем, поэтому средства распределения питания в стойке должны легко адаптироваться к таким изменениям.

Вследствие высокой энергетической плотности, свойственной компьютерному оборудованию нового поколения, прогнозируется резкий рост этого показателя и в стойках компьютерных центров.  Энергопотребление одной стойки, полностью заполненной современным ИТ-оборудованием, например, серверами высотой 1U или ячеечными серверами, может достигать 20 кВт.  Такая энергетическая плотность не поддерживается в традиционной среде компьютерного центра, где питание подается к стойке через обычную однофазную цепь (120 В, 20 А).  Для поддержки 20-киловаттной нагрузки в двухконтурной электрической среде понадобилось бы более двадцати таких ветвей электросети.

Требования к электропитанию современного компьютерного оборудования изменяются как функция от времени, связанная с колебаниями вычислительной нагрузки.  До 2000 года для практически любых компьютерных и телекоммуникационных систем это изменение считалось ничтожно малым.  Однако после 2000 года, когда началось массовое внедрение технологий управления электропитанием в конструкции процессоров и серверов, для все большей части компьютерного оборудования становится характерным резкое изменение энергопотребления в ответ на увеличение вычислительной нагрузки.  Такое изменение может превышать 200% от номинального уровня энергопотребления данного оборудования.  Конструкция системы распределения электропитания в стойке должна учитывать возможность таких колебаний.

В настоящем документе особое внимание уделяется вопросам распределения в стойке питания переменного тока.  В техническом руководстве APC № 63 «Технологии переменного и постоянного тока для компьютерных центров и серверных залов» объясняется, что распределение питания постоянного тока играет в современном компьютерном центре с высокой энергетической плотностью сравнительно незначительную роль. 

В настоящем руководстве обсуждаются только североамериканские стандарты напряжения и розеток.  Для более распространенных в мире систем с напряжением 230 В оптимальная стратегия распределения питания в стойке имеет существенные отличия. 

Традиционные средства подачи питания к стойке

Наиболее распространенный подход сегодняшнего дня – проектирование, отладка и установка систем питания специально для данной стойки или шкафа.  В случае изменения требований данной стойки к электропитанию для нее необходимо спроектировать, отладить и установить другую систему питания.  При таком подходе охватываются все возможные индивидуальные требования, однако он влечет за собой значительные расходы на проектирование и отладку.  К стойкам и шкафам питание обычно подводится от общего распределительного щита  компьютерного центра или серверного зала.  В большинстве случаев этот щит не может быть обесточен для проведения работ по обслуживанию системы распределения питания в стойке (например, при необходимости установки дополнительного предохранителя).  В результате работы приходится проводить в «горячем» режиме, что не только является серьезным нарушением правил техники безопасности, но и создает риск отказа обслуживаемой ветви и сбоя/отказа соседних цепей питания.  Подобные ошибки приводят к непредвиденным простоям.

В идеальном случае система электропитания стойки должна адаптироваться к любому реально возможному сочетанию оборудования по первому требованию и без необходимости выполнения работ, связанных с риском для здоровья людей или угрожающих бесперебойной работе системы.

Требования к электропитанию стойки

 В последующих разделах рассмотрены различные аспекты требований к электропитанию стойки.  Особо выделена физическая природа требований, намечены методы оптимального проектирования.

Требования к напряжению

В Северной Америке компьютерные центры обеспечиваются двумя напряжениями питания: 120 В и 208 В  Требования к напряжению и шнуры питания ИТ-оборудования можно ориентировочно разделить на следующие категории:

Рис. 1. Требования к напряжению и шнуры питания ИТ-оборудования, принятые в Северной Америке

Этой сложной ситуацией обусловлена необходимость поддержки системой распределения питания в стойке напряжения как 120, так и 208 В.  Однако не исключается использование систем, ограниченных одним напряжением: либо 120, либо 208 В.  Обе эти возможности обсуждаются ниже. 

Выбор напряжения 120 В в качестве единого для данного компьютерного центра стандарта выглядит наиболее удобным, потому что почти 95% оборудования поставляется со 120-вольтовыми шнурами питания.  К сожалению, 5% остального оборудования, подключаемого только к сети 208 В, нередко относятся к самым важным и ответственным устройствам, включая крупные маршрутизаторы и ячеечные серверы.  Следовательно, создать систему распределения питания в стойке с поддержкой только 120 В невозможно, исключение делается только для совсем небольших серверных залов.

Выбор в качестве единого для данного компьютерного центра стандарта напряжения 208 В гарантирует совместимость с более чем 97% оборудования, включая наиболее ответственное.  Однако в этом случае стандартные 120-вольтовые шнуры питания, которыми комплектуется большая часть оборудования, должны заменяться пользователем на совместимые 208-вольтовые, то есть пользователю необходимо иметь наготове запасной комплект шнуров.  Кроме того, для некоторых видов оборудования требуется ручная перестановка переключателя выбора напряжения источника питания со 120 В на 208 В; невыполнение этой процедуры приведет к катастрофическим последствиям при подключении устройства к сети 208 В.  Как правило, 3% оборудования, работающего только от сети 120 В, можно убрать из компьютерного центра, потому что почти всегда эти устройства являются лишь небольшими аксессуарами, имеющими приемлемые и всегда доступные аналоги для сети 208 В.  Тем не менее поддержка системой питания стойки напряжения 120 В – очень большое удобство, устраняющее множество проблем с несовместимостью розеток.  По этой причине почти во всех североамериканских компьютерных центрах поддерживается и 120, и 208 В, а единый 208-вольтовый стандарт практически нигде не встречается.

Стоечная среда является однофазной.  ИТ-оборудование для стоек, требующее трехфазного питания, практически не выпускается.  Иногда некоторые производители подключают оборудование стойки через внутренний блок распределения питания (БРП), на вход которого подается трехфазное питание, а на выходе образуется три сегмента однофазного напряжения, подаваемого на однофазные ИТ-нагрузки.  Важно заметить, что эти ИТ-нагрузки действительно являются однофазными.  Далее в настоящем руководстве убедительно показано, что несмотря на отсутствие трехфазных нагрузок, к стойкам все же целесообразно подводить трехфазное питание.  Одно из основных преимуществ такого подключения стойки – возможность использования неотъемлемого свойства трехфазного распределения, а именно обеспечение питания 120- и 208-вольтовых нагрузок от одной ветви электросети.

Требования к мощности

Энергетическая плотность внутри стойки варьируется в прямой зависимости от типа установленного оборудования.  В случае предельно низкой нагрузки в стойке могут находиться только пассивные распределительные панели или несколько межсетевых концентраторов, общей мощностью менее 100 Вт.  В случае предельно высокой нагрузки стойка может быть полностью заполнена ячеечными серверами и маршрутизаторами, с общим энергопотреблением более 10 кВт.

Кроме поддержки мощности стойки в целом, система питания стойки должна доводить необходимую мощность до каждого отдельного устройства.  Подключение к стойке нескольких ветвей электросети, возможно, обеспечит необходимую суммарную мощность, однако требования отдельной крупной нагрузки могут превзойти возможности любой из них.  Например, подключение любого количества 20-амперных ветвей к стойке, в которой одна единица оборудования потребляет 30 А, будет недостаточным.  Другой пример: шасси для ячеечных серверов с 30-амперным входом поначалу может быть заполнено лишь несколькими серверами, потребляя не более 5 А.  Казалось бы, к той же 30-амперной ветви можно подключить и другие серверные шасси, однако по мере их заполнения цепь неизбежно будет перегружена.  В подобных случаях рекомендуется подводить отдельные 30-амперные шнуры непосредственно к каждому мощному устройству.

Методы оценки среднего уровня мощности в стойке являются предметом серьезных дискуссий.  В 2003 году APC провела исследование стоек, эксплуатируемых в корпоративных компьютерных центрах, серверных залах и коммутационных узлах, и определила типовые варианты распределения мощности в расчете на одну стойку, показанные на рис. 2. На графике отображена частота появления стоек, укомплектованных оборудованием с различными уровнями мощности. Частота появления снижается с повышением уровня мощности.  Стойки с оборудованием мощностью более 6,5 кВт почти не встречались.

Прогноз использования стоек на 2007 г. (основанный на тенденциях развития технологии и требований заказчиков) также изображен на рис. 2. Он указывает на рост средней мощности в расчете на одну стойку с течением времени.  Сегодня уже не так трудно найти ИТ-оборудование, которое при полном заполнении шкафа приводит к превышению уровня 10 кВт на одну стойку.  Хотя такие конфигурации возможны, мы не обнаружили их заметного распространения на реальных объектах.  Собранные данные показывают, что средняя энергетическая плотность в расчете на одну стойку будет значительно расти.  Однако энергетические плотности, превышающие 6 кВт на стойку, по-прежнему составят лишь небольшую долю от всех установленных систем.

Рис. 2.  Частотное распределение энергопотребления в расчете на одну стойку

Анализ полученных данных о распределении мощности стоек указывает на следующее:

• Очень низкие нагрузки характерны преимущественно для стоек с коммутационными панелями, сетевыми коммутаторами и концентраторами
• Нагрузки в пределах 1 кВт относятся преимущественно к стойкам с разреженно установленным оборудованием
• Нагрузки в диапазоне до 2 кВт обычно относятся к стойкам, полностью заполненным типичным оборудованием
• Нагрузки в диапазоне до 3 кВт обычно относятся к стойкам с высокопроизводительными маршрутизаторами или несколькими компактными серверами.
• Нагрузки в диапазоне до 5 кВт относятся к стойкам, тесно заполненным тонкими (1U) серверами
• Нагрузки в диапазоне до 6 кВт сегодня встречаются чрезвычайно редко, однако становятся все более распространенными в связи с последними усовершенствованиями серверных технологий, приводящими к росту энергетической плотности.

Средний уровень энергопотребления одной стойки в корпоративных компьютерных средах составляет около 1,2 кВт.  Однако были выявлены организации, имеющие переменное среднее энергопотребление в пределах корпоративной стоечной среды.  В таких организациях применялись различные подходы к вопросу количества оборудования, устанавливаемого в одну стойку.  В соответствии с некоторыми из них значительное пространство стойки оставалось неиспользованным, в то время как другие подразумевали максимально уплотненную установку.  Таким образом, глобальный общерыночный показатель среднего энергопотребления стойки не всегда позволяет судить о среднем энергопотреблении стойки в конкретной организации.

Электрические цепи между последним устройством защиты от перегрузки и оборудованием называются «ветвями электросети».  Важно понимать, что в электротехнических кодексах определяется предельный ток в ветвях нагрузки, который диктуется типом нагрузки и не может произвольно выбираться пользователем.  В США практически все ветви электросети в стойках рассчитаны на ток не более 20 А (заметьте, что к стойке подводятся и 30-амперные кабели, но они являются цепями питания, а не ветвями электросети, потому что требуют установки в стойке дополнительных предохранителей, что подробно рассмотрено в последующих разделах.  Непосредственно к 30-амперной ветви можно подключать очень немногие устройства (как правило, это отдельные серверы или устройства хранения).

Таблица 1.  Ограничения по мощности в ветвях электросети

Максимальная доступная для стойки мощность зависит от количества ветвей электросети, питающих эту  стойку, как показано в таблице.  Используя эту информацию в сочетании с данными на рис. 1, мы можем определить процент поддерживаемых типичных стоечных нагрузок как функцию от количества стандартных ветвей электросети в стойке.  Полученная информация показана на рис. 2.

Рис. 3.  Доля стоек, в которых превышена заданная предельная мощность

Вычисления проводились путем прямого пересчета данных, изображенных на рис. 1. Вертикальные линии на рис. 3 обозначают уровни мощности, соответствующие различным практическим вариантам подачи питания к стойке.

Из этого рисунка можно сделать следующие выводы:

• На сегодняшний день подведение к стойке одной 120-вольтовой ветви электросети удовлетворяет требованиям нагрузки в большинстве стоек, но это утверждение перестанет быть верным в недалеком будущем.
• На сегодняшний день две 120-вольтовые ветви электросети соответствуют требованиям нагрузки в 94% стоек Северной Америки, в будущем это утверждение будет относиться только к 80% стоек.
• На сегодняшний день три 120-вольтовые ветви электросети соответствуют требованиям нагрузки в 99% стоек Северной Америки, в будущем это утверждение останется справедливым для более чем 95% стоек.
• На сегодняшний день одна 208-вольтовая ветвь электросети может обеспечить питание 92% стоек, но в будущем эта доля снизится до 78%

Заметьте, что отсутствие возможности подведения к стойке достаточно мощных ветвей электросети не препятствует эксплуатации системы.  Потребляемую стойкой мощность можно уменьшить, переместив часть ее оборудования в другую стойку.  Однако такая процедура приведет к неоптимальному использованию пространства.  Для одиночной стойки это не будет серьезной проблемой.  Однако если количество стоек, для которых невозможно обеспечить питание, окажется значительным, недостаток пространства станет существенным негативным фактором.  Логичный подход к проектированию компьютерного центра или серверного зала – обеспечение питания примерно 90% стоек без изъятия из них какого-либо оборудования.  

 Адаптивная система питания для стоек должна поддерживать мощность, достаточную для питания максимальной расчетной нагрузки в любой стойке и в любой момент времени, без необходимости дополнительной настройки.  В Северной Америке практическим ориентиром для разработчика можно считать три 120-вольтовые ветви или одну 208-вольтовую ветвь электросети на одну стойку, с возможностью нетрудоемкого подведения дополнительных ветвей по мере необходимости.

Требования к резервированию

Обеспечение резервирования и/или повышенной отказоустойчивости в системе питания повышает уровень готовности компьютерных приложений.  В средах с повышенными требованиями к уровню готовности обычным способом обеспечения резервирования является создание двух независимых контуров питания для каждой единицы компьютерного оборудования, которое, в свою очередь, оснащается двумя входами и независимыми параллельными источниками питания. Мощность источников рассчитывается так, что оборудование продолжает работать при отказе одного из контуров.  Такая топология обладает следующими основными преимуществами:

• В случае отказа одного из источников эксплуатация системы не прерывается
• Система сохраняет работоспособность в случае отказа одного из входов питания вследствие неисправности оборудования
• Система сохраняет работоспособность в случае отказа одного из входов питания вследствие ошибки пользователя
• Если отказ источника питания влечет за собой перегрузку входной цепи и срабатывание предохранителя, это не отражается на работоспособности оборудования, подключенного к тому же предохранителю.
• Если один из входов питания нуждается в отключении для выполнения процедур обслуживания или замены компонентов, работоспособность системы не нарушается

Для повышения эффективности такого подхода должны выполняться следующие требования:

1. Защищаемое оборудование должно поддерживать два входа питания и сохранять работоспособность в случае отказа одного из них
2. В нормальном режиме нагрузка предохранителей каждого контура питания никогда не должна превышать 50% от их номинального порогового тока, для того чтобы резкое повышение нагрузки при отказе одного из контуров не привело к срабатыванию предохранителя второго контура.

Выполнение этих двух требований может оказаться непростой задачей.  Некоторые производители компьютерного оборудования предлагают модификации только с одним входом питания.  Кроме того, существуют модификации с тремя шнурами питания, причем для корректной работы требуется исправность любых двух из них.  Оборудование такого типа теряет работоспособность при потере единственного контура питания.  В таких случаях может использоваться автоматический переключатель нагрузки (АПН), который  создает из двух входов дополнительный контур питания.  Развертывание автоматических переключателей нагрузки осуществляется централизованно или по распределенной топологии, когда в каждой стойке с защищаемым оборудованием устанавливается небольшой АПН.  Дополнительную информацию можно найти в Техническом руководстве APC №48 «Сравнение уровней готовности для различных схем резервирования электропитания в стойке».

Требования к защите от перегрузки

При проектировании распределения питания одним из наиболее спорных вопросов является защита ветвей электросети от перегрузки по току.  Каждая ветвь электросети в стойке должна подключаться к независимому предохранителю, причем для типичной стойки может потребоваться несколько ветвей.  На рис. 4 показаны общепринятые методы организации распределения питания в стойке, с учетом различных сочетаний ветвей электросети.  На рис. 4A стойка получает питание от одной сетевой ветви.  Для 20-амперной системы такая конфигурация ограничивает предельную мощность до 2,4 кВт (120 В) или 4,1 кВт (208 В).  Достижение более высокой мощности в одной стойке невозможно без подключения дополнительных ветвей.  Существует два варианта подключения к стойке нескольких ветвей электросети, они показаны на рис. 4B и 4C. 

Адаптивная система электропитания стойки должна поддерживать одно- и двухконтурную среду, а также комбинированную установку оборудования с одним и двумя входами питания.  Кроме того, необходимо обеспечить мониторинг мощности, позволяющий поддерживать нагрузку всех цепей на уровне не выше 50% от номинальной, что предотвращает срабатывание предохранителя в случае потери одного из контуров питания.

Рис. 4.  Иллюстрация методов подключения к стойке ветвей электросети, с изображением различных способов подведения
нескольких ветвей

Рис. 4а. Подключение стойки к одной ветви электросети

Методы, изображенные на рис 4B и 4C, обеспечивают поддержку одинаковой мощности, но с различной организацией кабелей и предохранителей.  Обратите внимание, что на рис. 4B в изолирующей оболочке или «шнуре» содержится несколько ветвей электросети.  Оба эти метода имеют свои существенные достоинства и недостатки, обобщенные в таблице 2.

Таблица 2.  Сравнение двух методов создания нескольких ветвей электросети в одной стойке

Таблица 2 позволяет сделать итоговый вывод о том, методу создания ветвей электросети внутри стойки свойственны существенные недостатки, и его следует избегать.  

Большинство пользователей, подводящих к стойке 30-амперные или более мощные цепи, не понимает, что они являются цепями питания, а не ветвями электросети.  В этом случае стандартные 20-амперные ветви электросети выводятся от предохранителей соответствующей мощности, расположенных внутри стоек.

Адаптивная система электропитания стойки не должна нуждаться в неразъемных соединениях, каскадных предохранителях и анализе последовательности срабатывания предохранителей, что ясно определяет предпочтительный метод создания нескольких ветвей электросети для каждой стойки.  В идеальном случае несколько ветвей электросети могли бы подводиться к стойке через единый многожильный кабель, что упростило бы процедуру подключения питания к стойке.

Требования к разъемам

Более 99,99% от общего количества стоечного оборудования, питаемого от сети переменного тока, подключается через шнур питания и розетку (неразъемное соединение используется крайне редко).  Несмотря на такое единообразие, типы розеток у разных продуктов могут сильно различаться.   

Приблизительная классификация частоты использования розеток разных типов в Северной Америке приведена в таблице 3:

Таблица 3.  Частота использования розеток различных типов в Северной Америке

В других странах существуют свои стандарты розеток, что еще более осложняет ситуацию.  В отличие от Северной Америки, в большинстве стран используется единое напряжение электросети, поэтому шнуры питания обычно рассчитываются на 230 В, 16 А.  Это означает, что один тип розетки подходит для любых устройств: от небольших концентраторов до корпоративных серверов.  Следовательно, за пределами Северной Америки розетки различаются только формой, соответствующей стандартам определенных стран, но по характеристикам все они совместимы с 99% устройств.

Важно заметить, что в 99% от всего ИТ-оборудования компьютерных центров используются съемные шнуры.  Это значит, что тип розетки может меняться.  Поставщики оборудования используют это преимущество при создании полнофункциональных стоечных систем, нередко устанавливая в стойке блок розеток IEC-320 и комплектуя все оборудование стойки шнурами с вилками IEC-320.  В результате используется единый стандарт, признанный во всем мире.

Количество розеток, необходимое для установки в стойке, в значительной мере зависит от устанавливаемого оборудования.  В минимальном случае в стойке имеется только одна нагрузка.  Противоположный случай: в стойке можно установить до 42 ячеечных серверов с двойными источниками питания, что потребует в общей сложности 84 розетки.

Адаптивная система электропитания стойки должна обеспечивать розетками всех необходимых стандартов все оборудование, которое теоретически может быть установлено, а также два контура питания с 42 розетками в каждом.  Для выполнения этого требования в каждой стойке необходимо обеспечить большое количество и достаточный ассортимент розеток, либо достаточное количество легко заменяемых розеточных блоков, позволяющих адаптировать систему к меняющимся требованиям.

Требования к гармоническим искажениям

Исторически компьютерное оборудование вносило искажения в гармонический ток входных цепей, что приводило к необходимости внедрения специальных конструктивных решений для систем питания, вынуждавших разработчика, например, увеличивать сечение шины нейтрали и устанавливать мощные изолирующие трансформаторы.  В 90-е годы вступили в силу нормативные документы, устанавливающие строгие требования к конструкции компьютерного оборудования, которые в сочетании с постепенным прекращением эксплуатации устаревших компьютеров обеспечили решение проблемы к 2000 году. Сегодня главным источником гармонических токов в компьютерных центрах являются грозовые разряды и трансформаторы распределения питания.  В среде электропитания стойки не требуются ни специальные кабели, ни трансформаторы.  Дополнительную информацию по данному предмету можно найти в техническом руководстве APC №26 «Проблемы гармонических искажений и перегрузок нейтрали».

Требования к уменьшению номинальной мощности

Эксплуатация системы на предельной мощности (в режиме ограничения тока) нежелательна, потому что в этом режиме предохранители находятся на грани срабатывания и в любой момент могут разомкнуть цепь.  Поэтому пользователь должен не стремиться к достижению предельно допустимого тока или мощности системы, а использовать коэффициент снижения номинальной мощности.  Underwriters Laboratories рекомендует эксплуатировать БРП стоечного исполнения с 20-процентным запасом мощности.  Это практически приемлемый и рекомендуемый запас мощности.  Однако некоторые заказчики с устаревшими представлениями требуют увеличения запаса мощности до 30% и даже 40%.  Предельная мощность архитектур распределения, описанных в настоящем документе, выражается в максимально допустимых значениях, поэтому желаемые значения должны вычисляться с использованием требуемого коэффициента снижения мощности. 

Требования к кабелям

Кабели, по которым питание доводится до стоек, – неотъемлемая часть системы питания стойки.  Сегодня общепринятой практикой является прокладка кабелей под фальшполом.  Прокладка кабелей под фальшполом в немалой степени препятствует достижению хорошей адаптивности, что детально рассмотрено в техническом руководстве APC №19 «Анализ целесообразности монтажа фальшпола для приложений компьютерного центра».

В адаптивной системе питания стойки к каждой стойке должны подводиться кабели всех ветвей электросети и всех стандартов напряжения, которые когда-либо могут понадобиться.  Замена оборудования в стойке должна проводиться без каких-либо изменений в кабельной проводке.  Кроме того, необходимо обеспечить удобный и безопасный способ подключения необходимых кабелей к дополнительным стойкам в будущем. 

Требования к мониторингу потребляемой мощности

Стоечные системы питания работают в условиях постоянных изменений нагрузки, связанных с установкой и удалением оборудования, а также с динамическими колебаниями энергопотребления установленного оборудования.  Эти обстоятельства приводят к необходимости наблюдения за колебаниями мощности в ветвях электросети, во избежание отказов и аварийных ситуаций, связанных с перегрузкой.  Более подробную информацию можно найти в техническом руководстве APC №43 «Динамические изменения потребляемой мощности в компьютерных центрах и серверных залах».

Требования к унификации

Учитывая наличие в типичном компьютерном центре большого количества цепей питания, целесообразно максимально унифицировать типы распределения питания (по мощности ветвей электросети, количеству полюсов на один шнур, типу и расположению предохранителей и т.п.).  В идеальном случае для достижения максимальной гибкости и сокращения вероятности ошибки оператора к каждой стойке следует подвести единый унифицированный кабель питания.

Ошибки оператора – постоянная угроза в любом компьютерном центре, регулярно приводящая к крупным простоям.  Использование единой стандартизированной схемы распределения, освоение которой занимает до 97% времени оператора, – лишь один из методов сокращения риска человеческой ошибки.  Благодаря стандартизированным шнурам пользователи лучше в них разбираются, число компонентов сводится к минимуму, процесс обучения ускоряется – все это заметно снижает риск дорогостоящей ошибки.

Выбор системы распределения питания

Несмотря на множество предъявляемых требований, все еще остается немало сочетаний цепей, которые могут использоваться для питания стоек, отличающихся по предельной мощности и основным возможностям.  В диапазоне мощности от 1 кВт до 30 кВт на одну стойку существует 28 различных практических способов подачи питания к стойкам.  Эти разновидности подробно рассмотрены в Приложении A.

Систематически анализируя эти разновидности, можно определить, что они не эквивалентны по стоимости и предоставляемым преимуществам, а некоторые из них безусловно предпочтительны.  Анализ Приложения A позволяет обнаружить, что существует четыре предпочтительные формы распределения питания в стойке, причем для достижения желаемой энергетической плотности допускается подведение к стойке нескольких ветвей.  Четыре предпочтительные формы:

• Шнуры 208 В 20 А
• Шнуры 208 В 30 А
• Трехфазные шнуры 120/208 В 20 А
• Трехфазные шнуры 120/208 В 30 А

На рис. 5 показаны четыре предпочтительные формы и соответствующие им конфигурации ветвей электросети.  Характеристики и преимущества четырех важнейших типов распределения питания приведены в таблице 4, в которой затененные атрибуты указывают на лучшую для данной характеристики производительность.  Из рисунка следует безусловное преимущество трехфазной схемы распределения питания в стойке.

Таблица 4 не дает однозначных рекомендаций по вопросу выбора из 20- и 30-амперного трехфазного распределения, где каждая из систем демонстрирует свои преимущества.  Из анализа следует, что 20-амперное распределение дает более надежное решение, в то время как 30-амперная система отличается поддержкой несколько большей энергетической плотности.  Учитывая, что в каждом из этих решений достигается энергетическая плотность, существенно превышающая среднее значение, для большинства объектов фактор более высокой надежности позволяет рекомендовать 20-амперное трехфазное решение.

Из того же анализа можно сделать следующие выводы касательно предпочтительной организации ветвей электросети:

1.   Для питания стандартных стоек с плотностью примерно до 6 кВт на стойку следует использовать один 20-амперный трехфазный шнур питания 120/208 В; рекомендуется для каждой стойки.
2. Для питания стоек с большей энергетической плотностью (до 12-18 кВт на стойку) следует использовать дополнительные 20-амперные трехфазные шнуры 120/208 В
3. Для нагрузок с предельно высокой энергетической плотностью, входной ток которых сравним с пропускной способностью ветви электросети, например, ячеечных серверов, к каждому такому устройству следует проложить отдельный 20- или 30-амперный (в зависимости от типа розетки устройства) шнур.

Рис.5.  Иллюстрация четырех предпочтительных форм распределения питания в стойке

Рис. 5a.  Шнур 208 В 20 А                                          Рис. 5b.  Шнур 208 В 30 А

Рис. 5c.  Трехфазные шнуры 120/208 В 20 А     Рис. 5d.  Трехфазные шнуры 120/208 В 30 А

Таблица 4. Характеристики четырех предпочтительных  типов распределения питания в стойке

Примечание: синим указывана наилучшая для данной характеристики производительность.

Адаптируемая архитектура электропитания для шкафов и стоек

Растущий интерес к рассматриваемым в настоящем документе проблемам привел конструкторов и операторов компьютерных центров и серверных залов к разработке собственных оригинальных решений для построения адаптивных систем питания стойки.  Однако с точки зрения поставщиков оборудования интегрированный и недорогой метод создания таких систем до последнего времени отсутствовал.  Полностью интегрированный подход должен включать модульную систему, реализующую все аспекты распределения питания: от подключения к главному распределительному щиту до ИБП, распределительных панелей и механизмов подключения розеток в стойках.

Первая интегрированная и адаптируемая система электропитания стойки, впервые представленная  в 2001 году, изображена на рис. 6. Новаторская система InfraStruXure™ включает в себя компоненты, отлаживаемые в соответствии с требованиями адаптируемой системы питания стойки.  В число компонентов системы входят заранее изготовленные шнуры распределения питания на несколько сетевых ветвей, сменные блоки розеток с возможностью измерения тока и поддержкой двух стандартов напряжения (в разных конфигурациях), заранее отлаженный блок управления предохранителями, поддержка одиночных и двойных контуров питания, формируемых на уровне стойки или группы стоек, возможности интеграции источников постоянного тока и ускоренной установки без фальшпола.  Решение поставляется в виде интегрированной системы, комплектуемой на заказ из унифицированных компонентов.

Рис.  6. Пример адаптируемой системы питания стойки

Кроме возможности построения адаптируемой системы питания стойки, конфигурация которой расширяется быстро и недорого, отметим заметный выигрыш в сроке службы и стоимости, обусловленный процедурой установки системы, обеспечивающей существенное упрощение работ по отладке и установке компонентов за счет преимуществ новой архитектуры компьютерного центра.  Более того, способность системы питания стойки к адаптации позволяет поддерживать систему в постоянном соответствии реальным требованиям нагрузки, расширяя ее в любой момент при наличии такой необходимости.  Экономический выигрыш от динамичной адаптации к реальной нагрузке может превзойти 50% от полной стоимости компьютерного центра или серверного зала за весь срок его эксплуатации, что детально обосновано в Техническом руководстве APC №37 «Как избежать расходов, связанных с избыточностью инфраструктуры компьютерного центра или серверного зала».

Выводы

Энергопотребление каждой отдельной стойки компьютерного центра или серверного зала достигает самых разных величин, в ближайшие годы продолжится его рост.  Не менее пяти раз за весь срок эксплуатации компьютерного центра оборудование его стоек постепенно полностью обновляется.  
В такой ситуации требуется система распределения питания в стойке, всегда отвечающая меняющимся требованиям. Эти требования были сформулированы и проанализированы, что привело к созданию практически реализуемой адаптивной архитектуры электропитания для стоек.

Приложение А: Анализ исчерпывающего набора способов подачи питания к стойке

На практике для подачи электропитания к стойке используются различные типы цепей нагрузки, в том числе содержащие несколько ветвей. Все они перечислены в следующей таблице:  Данные в таблице отсортированы по возрастанию мощности поддерживаемой стойкой нагрузки.

Таблица A1. Характеристики конфигураций ветвей электросети, практически реализуемых в  стойках

Опции, рассмотренные в таблице 1, ограничены практически реализуемым максимумом в 6 шнуров и включают только цепи нагрузки с несколькими шнурами, содержащими одинаковый набор ветвей электросети. 

Этот список можно считать исчерпывающим, однако если целью разработчика является подача питания к стойкам с высокой энергетической плотностью, некоторые позиции можно сразу исключить.  Система питания для стоек с повышенной энергетической плотностью должна поддерживать напряжение 208 В, так как существует множество мощных ИТ-нагрузок, для которых напряжение 120 В недостаточно.  Более того, система питания для систем с высокой энергетической плотностью  должна также поддерживать питание одиночных нагрузок мощностью не менее 3 кВт, так как они нередко устанавливаются в такие стойки.