Публикации   Каталог оборудования   Анализ климата регионов   О проекте AboutDC.ru

Сравнение различных схематических конфигураций систем ИБП

Опубликовано: 23.05.2013. APC

(Техническое руководство №75 от APC) Существует пять основных схематических конфигураций систем ИБП, распределяющих питание, подаваемое из электросети здания, для обеспечения критической нагрузки центра обработки данных.  Выбор подходящей конфигурации для конкретного применения определяется потребностью доступности, допустимостью рисков, типами нагрузки в центре обработки данных, бюджетами и существующей инфраструктурой.  Для каждой из пяти конфигураций приведены объяснения и рассмотрены их преимущества и недостатки.  Для каждого типа конфигурации рассмотрена степень влияния доступности и приведены инструкции  по выбору подходящей схемы. 

Введение

Хотя в большинстве развитых стран системы распределения питания общего пользования являются достаточно надежными, исследования показали, что даже лучшие энергосистемы общего пользования не вполне удовлетворяют требованиям важнейших непрерывных операций обработки данных.  Столкнувшись с потенциальной возможностью простоев и ошибок при обработке данных, вызванных системой электроснабжения, большинство компаний предпочитает внедрить систему ИБП (источников бесперебойного питания), устанавливаемую между системой распределения питания общего пользования и своими критически важными устройствами.  Выбор схематической конфигурации системы ИБП для конкретного применения оказывает непосредственное влияние на доступность ИТ-оборудования, для поддержки которого она предназначена.  Существует много факторов, влияющих на доступность системы, включая ошибку оператора, надежность компонентов, графики технологического обслуживания и время, необходимо для восстановления.  Влияние каждого из этих факторов на общую доступность системы в большой степени определяется выбранной конфигурацией.

Многие инженеры-проектировщики всегда пытались создать совершенное решение ИБП, обеспечивающее поддержку критической нагрузки, и их схемам часто присваивались названия, которые не обязательно отражают тот сегмент, к которому их можно отнести с точки зрения обеспечения доступности.  Конфигурация с параллельным резервированием, конфигурация с изолированным резервированием, конфигурация с распределенным резервированием, система горячего соединения, многосекционная параллельная шина, система + система, системы перехвата и т.д. - вот названия, которые присваивались различным конфигурациям ИБП разработавшими их инженерами и создавшими их производителями.  Проблема с этими терминами состоит в том, что для разных людей они могут означать разные вещи и по-разному интерпретироваться.  Хотя сегодня на рынке можно найти многочисленные и самые разнообразные конфигурации ИБП, наиболее широко распространены пять из них.  К ним относятся: (1) конфигурация поддержания мощности, (2) конфигурация с изолированным резервированием, (3) конфигурация с параллельным резервированием, (4) конфигурация с распределенным резервированием и (5) система + система.

В настоящей статье описывается каждая из этих конфигураций систем ИБП и обсуждаются их преимущества и недостатки.  Конфигурацию системы следует выбирать таким образом, чтобы она отражала важность оборудования.  Учет влияния простоев и допустимости рисков для внутри компании поможет выбрать подходящую конфигурацию системы. 

Предоставляются инструкции по выбору подходящей конфигурации для конкретного применения.

Шкала доступности и затраты

Доступность

Движущей силой постоянно растущих возможностей для развития конфигураций ИБП является постоянно увеличивающаяся необходимость доступности, которая требуется менеджерам в сфере обработки данных.  “Доступность” - это процентное значение времени, в течение которого электропитание подается непрерывно и функционирует должным образом, чтобы поддерживать подачу критической нагрузки.  В анализе, содержащемся в приложении, приведены количественные данные о различиях в доступности для разных конфигураций, представленных в настоящей статье.  Как в любой модели, с целью упрощения анализа требуется сделать некоторые допущения, поэтому представленные значения доступности будут выше, чем ожидается при реальной установке.  С целью сравнения пяти наиболее распространенных схематических конфигураций в Таблице 1 приведена простая шкала, иллюстрирующая степень их доступности на основе результатов, приводимых в приложении.  После рассмотрения объяснений, приводимых для разных конфигураций, этот порядок должен стать очевидным. 

Ярусы

Все системы ИБП (и оборудование распределения электропитания) требуют обслуживания через регулярные промежутки времени.  Доступность конфигурации системы зависит от уровня ее устойчивости к отказам оборудования, а также возможности проведения ее нормального обслуживания и контрольных испытаний без перерыва в подаче критической нагрузки.  Эта тема подробно обсуждается в статье института Uptime Institute, называющейся “Industry Standard Tier Classifications Define Site Infrastructure Performance”.  Ярусы, описанные в документе института Uptime Institute, относятся к 5 архитектурам ИБП, рассматриваемым в настоящей статье, и показаны также в Таблице 1.

Расходы

С увеличением показателя конфигурации по шкале доступности увеличиваются и расходы.  В Таблице 1 приводятся приблизительные диапазоны затрат для каждой схемы.  Расходы представляют собой затраты на создание нового центра обработки данных и включают не только затраты на архитектуру ИБП, но и полную Адаптивную Инженерную Инфраструктуру Центра обработки данных (NCPI).  Она включает генераторы, коммутационное оборудование, системы охлаждения, систему пожаротушения, фальшпол, стойки, освещение, физическое пространство и ввод всей системы в действие.  Это только непосредственные начальные расходы; они не включают эксплуатационные расходы, такие как затраты на контракты на обслуживание.   Эти расходы посчитаны из расчета 2,79 кв. метра (30 кв. футов) на стойку и основаны на диапазоне удельных мощностей от 2,3 кВт на стойку до 3,8 кВт на стойку.  Расходы на стойку снижаются с увеличением размера здания; при этом увеличиваются площадь установки, на которую относятся расходы, и покупательная способность при приобретении товаров у поставщиков.

Таб. 1 - Шкала доступности и расходы для различных конфигураций ИБП

Конфигурации

Шкала доступности

Класс яруса

Диапазон расходов для центров обработки данных (долл. США)

Конфигурация поддержания мощности (N)

1 = самая низкая

Ярус I

13 500 - 18 000 долл. США на стойку

Конфигурация с изолированным резервированием

2

Ярус II

18 000 - 24 000 долл. США на стойку

Конфигурация с параллельным резервированием (N+1)

3

Конфигурация с распределенным резервированием

4

Ярус III

24 000 - 30 000 долл. США на стойку

Система + система (2N, 2N+1)

5 = самая высокая

Ярус IV

36 000 - 42 000 долл. США на стойку

Что такое “N”?

Для описания схематических конфигураций ИБП в их названиях часто используется, как показатель расчета, буква “N”.  Например, система параллельного резервирования может также называться схемой "N+1", а конфигурация "система + система" может указываться как "2N".  “N” можно просто определить как “необходимую” критическую нагрузку.  Иными словами, это мощность, необходимая для питания защищенного оборудования.  Для иллюстрации применения обозначения “N” можно использовать такое ИТ-оборудование, как RAID-массив (массив независимых дисков с избыточностью).  Например, если для обеспечения необходимой емкости хранилища требуется 4 диска и RAID-ситема состоит из 4 дисков, то это будет конфигурация “N”.  С другой стороны, если имеется 5 дисков, а для обеспечения необходимой емкости хранилища требуется 4 диска, то это будет конфигурация “N+1”.  Ранее мощность критической нагрузки приходилось планировать с учетом будущих потребностей так, чтобы система ИБП обеспечивала необходимую нагрузку еще в течение 10-15 лет.  Проектирование такой нагрузки всегда было трудной задачей, и этому есть объяснение.  В 1990-х годах, чтобы вести обоснованные обсуждения и обеспечить возможность для сравнения одного помещения с другим, было введено понятие “Ватт на площадь”.  В понимании такой единицы измерения мощности существуют разночтения по той простой причине, что специалисты не могут достичь согласия относительно того, что же такое площадь.  Не так давно, по мере того, как технологии стали обеспечивать компактность оборудования, в отношении мощности системы стало использоваться понятие “Ватт на стойку”.  Оно оказалось более подходящим, так как количество стоек на определенном пространстве легко сосчитать.  Независимо от того, на каком основании выбирается нагрузка “N”, важно, чтобы она была правильно выбрана с самого начала и обеспечила правильное направление процесса проектирования. На сегодняшний день существуют разработанные масштабируемые модульные системы ИБП, позволяющие наращивать мощность ИБП по мере роста ИТ-потребностей.  Для получения дополнительной информации по этой теме см. информационную статью APC № 37 “Рационализация инфраструктуры центра обработки данных”.

Конфигурация поддержания мощности, или система “N”

Обычная система “N” - это система, состоящая из модуля ИБП или набора параллельно соединенных модулей, мощность которых соответствует запланированной критической нагрузке.  Такой тип системы является самой распространенной конфигурацией в отрасли ИБП.  Небольшой ИБП, установленный под рабочим столом, имеет конфигурацию "N".  Аналогичным образом, компьютерный зал площадью 465 кв. м (5 000 кв. футов) с проектной мощностью 400 кВт имеет конфигурацию "N" независимо от того, установлен ли в нем один ИБП мощностью 400 кВт или два параллельно подсоединенных к одной шине ИБП мощностью по 200 кВт каждый. Конфигурацию "N" можно рассматривать как соответствующую минимальным требованиям по обеспечению защиты для критической нагрузки.

Хотя считается, что оба приведенных выше примера имеют конфигурацию "N", конструкции модулей ИБП отличаются друг от друга.  В отличие от небольших ИБП, системы с большей, чем у однофазных систем (около 20 кВт), мощностью оснащены встроенными переключателями статической обходной цепи, которые позволяют в случае возникновения в модуле ИБП внутренних проблем безопасно переключать нагрузку на электросеть.  Значения, при которых ИБП переключает нагрузку на статическую обходную цепь, тщательно выбираются производителем, чтобы обеспечить самую надежную защиту для критической нагрузки, одновременно предохраняя сам модуль в ситуациях, когда возможно его повреждение.  В приведенном далее примере описывается одна из таких защитных мер.    Очень часто трехфазные ИБП, используемые в модулях, имеют номинальные характеристики по перегрузке.  Одна из таких характеристик может гласить, что “модуль выдерживает нагрузку, равную 125% от номинальной, в течение 10 минут”.  При подаче 125%-ной нагрузки модуль запускает процедуру отсчета и встроенные часы начинают отсчитывать 10 минут.  Если по окончании отсчета нагрузка не опустится до нормального уровня, модуль благополучно переключит нагрузку на статическую обходную цепь.  Существует масса сценариев, при которых активизируется обходная цепь, и все они четко перечислены в спецификациях конкретного модуля ИБП.

Одним из способов расширения конфигурации "N" является обеспечение в системе возможности “обслуживания” или “внешней” обходной цепи.  Внешняя обходная цепь обеспечит безопасное завершение работы системы ИБП (модулей и статической обходной цепи) с целью обслуживания, когда такая необходимость возникнет.  Обходная цепь для обслуживания запитана от той же панели управления, с которой подается питание на ИБП, и напрямую подключена к выходной панели ИБП.  Обычно это, конечно же, разомкнутая цепь, которая замыкается, когда модуль ИБП использует статическую обходную цепь.  В схеме необходимо предусмотреть меры, предотвращающие замыкание обходной цепи, предназначенной для обслуживания, когда ИБП не использует статическую обходную цепь.  Обходная цепь, предназначенная для обслуживания, в случае ее надлежащей реализации в системе является важным компонентом системы, обеспечивающим безопасное проведение работ с модулем ИБП и позволяющим не выключать нагрузку.

Большинство систем с конфигурацией “N”, особенно мощностью до 100 кВт, размещается в зданиях без особого учета конфигурации общих систем электроснабжения в здании.  Обычно схема общей системы электроснабжения в здании имеет конфигурацию “N”, поэтому для конфигурации ИБП “N” не требуется ничего, кроме собственно подачи питания на нее.  Обычная конфигурация системы с одним модулем ИБП показана на Рис. 1.

wp75ris1

Рис. 1 - Конфигурация “поддержания мощности” с одним модулем ИБП

Преимущества

  • Простая концептуально и экономичная конфигурация оборудования
  • Оптимальная эффективность ИБП благодаря тому, что ИБП используется на полную мощность
  • Обеспечение доступности, более высокой, чем та, которую обеспечивает электросеть
  • Возможность наращивания в случае возрастания требований по мощности (можно настраивать несколько устройств в одной схеме установки;  для систем разных поставщиков или производителей можно подключать по параллельной схеме до 8 модулей ИБП с одинаковыми номинальными характеристиками)

Недостатки

  • Ограниченная доступность в случае выхода модуля ИБП из строя, так как нагрузка будет переключена на обходную цепь, в которой отсутствует защита от изменений мощности
  • Во время обслуживания ИБП, батарей или оборудования, установленного в цепи после него (обычно оно выполняется один раз в год в течение 2-4 часов), нагрузка не защищена от изменений мощности 
  • Недостаточная избыточность ограничивает защиту нагрузки в случае отказов в работе ИБП
  • Большое число элементов, вызывающих отказ всей системы, а это означает, что надежность системы определяется самым уязвимым элементом

Конфигурация с изолированным резервированием

Конфигурацию с изолированным резервированием иногда называют системой “N+1”, однако она значительным образом отличается от конфигурации с параллельным резервированием, которую тоже называют системой “N+1”. Для схемы с изолированным резервированием не нужна шина для параллельного включения и не требуется, чтобы модули имели одинаковую мощность или даже были выпущены одним и тем же производителем.  В этой конфигурации имеется главный (или “основной”) модуль ИБП, который обычно и обеспечивает нагрузку.  “Изолированный” (или “вспомогательный”) ИБП подает питание через статическую обходную цепь основных модулей ИБП.  При такой конфигурации требуется, чтобы основной модуль ИБП был оснащен отдельным входом для статической обходной цепи.  Это способ обеспечить уровень избыточности, который отсутствует в ранее рассмотренной безызбыточной конфигурации, без замены существующего ИБП.  На Рис. 2 показана конфигурация ИБП с изолированным резервированием

При нормальной работе основной модуль ИБП будет принимать на себя всю критическую нагрузку, а изолированный модуль останется без нагрузки.  В любой ситуации, когда основные модули переключат нагрузку на статическую обходную цепь, изолированный модуль немедленно примет на себя всю нагрузку основного модуля.  Следует очень осторожно подходить к выбору изолированного модуля, так как он должен очень быстро принять на себя всю нагрузку.  Если этого не произойдет, то он сам выполнит переключение на статическую обходную цепь и, таким образом, вся дополнительная защита, которая обеспечивается данной конфигурацией, не будет гарантирована.

Можно выполнять обслуживание любого из модулей, просто переключив нагрузку на другой (необслуживаемый) модуль.  Обходная цепь, предназначенная для обслуживания, все же является важным элементом схемы, так как все равно существует элемент, вызывающий отказ всей системы - на выходе.  Для профилактического обслуживания на уровне системы ее потребуется каждый год отключать на 2 - 4 часа.  Надежность, обеспечиваемая этой конфигурацией, зачастую может сводиться на нет из-за сложного коммутационного оборудования и элементов управления для него.

wp75ris2

Рис. 2 - Конфигурация ИБП с изолированным резервированием

Преимущества

  • Гибкость при выборе продуктов - можно вместе использовать продукты разных изготовителей и моделей
  • Обеспечение отказоустойчивости ИБП
  • Отсутствие потребности в синхронизации
  • Относительная экономичность для двухмодульной системы

 

Недостатки

  • Зависимость от надлежащей работы статической обходной цепи основного модуля при получении питания от резервного модуля
  • Необходимость надлежащей работы статической обходной цепи обоих модулей ИБП, чтобы обеспечить подачу токов, превосходящих возможности инвертора
  • Вспомогательный модуль ИБП должен справиться с неожиданной подачей нагрузки, когда основной модуль переключает ее на обходную цепь  (обычно этот ИБП в течение длительного времени работает с нагрузкой 0%;  не все модули ИБП могут справиться с такой задачей, что делает вопрос выбора модуля обходной цепи очень важным)
  • Сложное и дорогостоящее коммутационное оборудование и элементы управления для него
  • Более высокие эксплуатационные расходы из-за нулевой (0%) нагрузки вспомогательного ИБП, /который сам потребляет энергию для работы
  • Двухмодульная система (один основной и один вспомогательный) требует как минимум одного дополнительного автоматического выключателя, который бы позволял выбирать в качестве источника питания обходной цепи электросеть или другой ИБП.  Это более сложная система, чем система с шиной с общей нагрузкой
  • При наличии двух или более основных модулей требуется специальная схема, обеспечивающая выбор электросети или резервного модуля в качестве источника питания обходной цепи (электронный промежуточный коммутатор)
  • Одна шина нагрузки для каждой системы  - это элемент, вызывающий отказ всей системы

Конфигурация с параллельным резервированием, или система “N+1”

Конфигурации с параллельным резервированием допускают отказ одного модуля ИБП и не требуют при этом переключения критической нагрузки на электросеть.  Назначение любого ИБП - это защита критической нагрузки от изменений и прерывания подачи питания из электросети.  По мере роста важности данных и уменьшения допустимости рисков все большее распространение получает идея сведения к минимуму переключений на статическую обходную цепь и на обходную цепь для обслуживания.  Схемы с системой "N+1" по-прежнему должны быть оснащены статической обходной цепью, и большая их часть имеет обходную цепь для обслуживания, так как они по-прежнему обеспечивают критически важные операции.

Конфигурация с параллельным резервированием состоит из нескольких модулей ИБП одинакового размера, подключенных параллельно к общей выходной шине. Система обеспечивает резервирование "N+1", если “резервная” мощность, по крайней мере, равна мощности одного модуля системы; система будет обеспечивать резервирование "N+2", если резервная мощность равна мощности двух модулей системы, и т.д.  Для систем с параллельным резервированием требуются модули ИБП одинаковой мощности и одного производителя.  Производитель модулей ИБП предоставляет также и панель для параллельного подключения для системы.  Панель для параллельного подключения может быть оснащена логической схемой, обеспечивающей связь с отдельными модулями ИБП, и между модулями ИБП будет осуществляться связь с целью обеспечения полностью синхронизированного выходного напряжения.  Шина для параллельного подключения может быть оснащена функцией мониторинга и может отображать нагрузку на систему, а также напряжение в системе и характеристики тока на уровне системы.  Шина для параллельного подключения, кроме того, должна отображать, сколько модулей к ней подключено и сколько модулей требуется, чтобы поддерживать возможности резервирования в системе.

Существуют логические максимумы для количества модулей ИБП, которые можно подключать по параллельной схеме к общей шине, и это максимальное количество варьируется в зависимости от производителя ИБП.  В конфигурации с параллельным резервированием критическая нагрузка в штатных рабочих ситуациях равномерно распределяется между модулями ИБП.  Если один из модулей отключают от шины для параллельного подключения с целью обслуживания (или он отключается самостоятельно вследствие внутреннего отказа), оставшиеся модули ИБП должны немедленно принять на себя нагрузку отказавшего модуля ИБП.  Такая способность позволяет отключать от шины любой из модулей и ремонтировать его без необходимости переключения критической нагрузки на незащищенный источник питания. 

Для компьютерного зала площадью 465 кв. м (5 000 кв. футов), рассмотренного в примере с конфигурацией "N", для обеспечения резервирования потребовались бы два модуля ИБП мощностью по 400 кВт или три модуля ИБП мощностью по 200 кВт, подключенных параллельно к общей выходной шине.  Шина для параллельного подключения рассчитана на мощность система без обеспечения резервирования.  Таким образом, система с двумя модулями по 400 кВт была бы оснащена шиной для параллельного подключения с номинальной мощностью 400 кВт.

В системе с конфигурацией "N+1" существует возможность увеличения мощности ИБП по мере увеличения нагрузки.  Пусковые схемы мощности следует настроить таким образом, чтобы, когда текущее процентное значение мощности достигнет определенного уровня (и учитывая, что срок поставки некоторых модулей ИБП может достигать нескольких недель или даже месяцев), можно было заказать новый резервный модуль.  Чем выше мощность ИБП, тем более сложной задачей это может оказаться.  Большие модули ИБП могут весить до нескольких тонн и требуют для установки на место специального монтажного оборудования.  Обычно в зале с ИБП для такого модуля отведено специальное место.  Такой тип развертывания требует тщательного планирования, так как размещение большого модуля ИБП в любом помещении сопряжено с определенным риском.

Эффективность работы системы может быть важным фактором, который следует учитывать при проектировании систем с резервными ИБП.  Модули ИБП, работающие с небольшой нагрузкой, обычно менее эффективны, чем модуль, работающий с нагрузкой, близкой к его мощности.  В Таблице 2 представлены значения типичной текущей нагрузки для систем, в которых используются модули ИБП разных размеров, каждая из которых обеспечивает нагрузку 240 кВт.  Как видно из таблицы, мощность модуля, выбранная для конкретного применения, может серьезно влиять на эффективность системы.  Эффективность каждого конкретного модуля ИБП при низкой нагрузке варьируется в зависимости от производителя и требует изучения в процессе проектирования.

Таб. 2 - Конфигурации "N + 1"

Модули ИБП, подключенные параллельно

Критически важная нагрузка

Общая мощность системы ИБП

% нагрузки для

каждого модуля ИБП

       2 x 240 кВт

240 кВт

480 кВт

50%

       3 x 120 кВт

240 кВт

360 кВт

66%

       4 x 80 кВт

240 кВт

320 кВт

75%

       5 x 60 кВт

240 кВт

300 кВт

80%

На Рис. 3 показана типичная конфигурация с параллельным резервированием с двумя модулями.  На этом рисунке показано, что хотя эти системы и обеспечивают защиту в случае отказа одного модуля ИБП, все равно остается элемент, вызывающий отказ всей системы - шина для параллельного подключения. Как и в случае схематической конфигурации поддержания мощности, обходная цепь, предназначенная для обслуживания, является важным элементом таких схем, которая позволяет отключить шину для параллельного подключения с целью периодического обслуживания.

wp75ris3

Рис. 3 - Конфигурация ИБП с изолированным резервированием (N+1)

Преимущества

  • Более высокий уровень доступности, чем в конфигурациях поддержания мощности, так как запасную мощность можно использовать в случае выхода одного из модулей ИБП из строя
  • Возможность наращивания в случае возрастания требований по мощности.  Можно настраивать несколько устройств в одной схеме установки
  • Простая концептуально и экономичная компоновка оборудования

Недостатки

  • Оба модуля должны иметь одинаковую конструкцию, одного производителя, одинаковые номинальные характеристики, технологию и конфигурацию
  • Наличие элементов, вызывающих отказ всей системы, в цепи до и после ИБП
  • Во время обслуживания ИБП, батарей или оборудования, установленного в цепи после него (обычно оно выполняется один раз в год в течение 2-4 часов), нагрузка не защищена от изменений мощности
  • Более низкая эффективность эксплуатации, так как ни одно из устройств не используется на 100% своих возможностей
  • Одна шина нагрузки для каждой системы  - это элемент, вызывающий отказ всей системы
  • Для равномерного распределения нагрузки между двумя модулями ИБП, выпускаемыми большинством производителей, требуются внешние электронные коммутаторы; в противном случае разница в их нагрузке может достигать 15%.  Это приводит к удорожанию и усложнению оборудования
  • Для устройств большинства производителей требуется общая внешняя панель сервисной обходной цепи.  Это приводит к удорожанию и усложнению оборудования

Конфигурация с распределенным резервированием

Конфигурации с распределенным резервированием сегодня широко используются на рынке.  Такая схема была разработана в конце 1990-х годов одной инжиниринговой компанией с целью обеспечения полного резервирования, но исключения связанных с этим расходов.  Такая схема основана на использовании трех или более модулей ИБП с независимыми входными и выходными фидерами.  Независимые выходные шины подключаются к критически важному оборудованию с помощью нескольких устройств распределения электропитания (PDU) и электронного промежуточного коммутатора (STS).  На участке от входа электросети до модуля ИБП схема с распределенным резервированием и схема "система + система" (которой посвящен следующий раздел) очень похожи.  Обе обеспечивают возможность обслуживания в процессе эксплуатации и предусматривают минимальное количество элементов, вызывающих отказ всей системы.  Основное различие заключается в количестве модулей ИБП, обеспечивающих резервные линии питания критически важного оборудования, и организации распределения питания от ИБП на критически важное оборудование.  Поскольку требования по нагрузке - “N” - растут, соответственно увеличивается и потребность в сокращении количества модулей ИБП.

На Рис. 4 и 5 представлена нагрузка мощностью 300 кВт с двумя разными концепциями распределенного резервирования.  На Рис. 4 используются три модуля ИБП в схеме с распределенным резервированием, которую также можно назвать “системой перехвата”.  В этой конфигурации модуль 3 подсоединен к вспомогательному вводу на каждом коммутаторе STS и должен “перехватывать” нагрузку в случае выхода из строя любого из основных модулей ИБП.  В такой системе перехвата модуль 3 обычно не находится под нагрузкой. 

wp75ris4

Рис. 4 - Конфигурация ИБП с распределенным резервированием с “перехватом”

На Рис. 5 показана схема с распределенным резервированием с тремя коммутаторами STS и равномерным распределением нагрузки между тремя модулями при нормальной работе.  Отказ любого из модулей заставит коммутатор STS переключить нагрузку на модуль ИБП с питанием от альтернативного источника.

Для обеих этих схем очевидна разница между распределением подачи питания на двух- и однокабельные устройства.  Питание на двухкабельные устройства может подаваться с двух коммутаторов STS, а на однокабельные устройства - только с одного коммутатора STS.  Для однокабельных устройств коммутатор STS становится элементом, вызывающим отказ всей системы.  Поскольку количество однокабельных устройств в современных центрах обработки данных постоянно сокращается, с практической точки зрения становится более оправданным и более экономичным устанавливать многочисленные, небольшие индивидуальные промежуточные коммутаторы рядом с однокабельными устройствами.  Если все 100% устройств являются двухкабельными, схема этой конфигурации может вообще не содержать коммутаторов STS.

wp75ris5

Рис. 5 - Конфигурация ИБП с распределенным резервированием

Системы с распределенным резервированием обычно выбираются для больших и сложных схем установки, когда обслуживание в процессе эксплуатации является обязательным требованием и большое число устройств или их большинство оснащено одним кабелем.  Экономичность по сравнению с конфигурацией "2N" также способствует распространению этой конфигурации.  Ниже перечислены другие отраслевые факторы, влияющие на широкое распространение конфигураций с распределенным резервированием.

Обслуживание в процессе эксплуатации. Возможность полного отключения какого-либо конкретного электрического компонента или набора компонентов с целью обслуживания или контрольных испытаний, не предусматривающая необходимость переключения нагрузки на электросеть.

Элемент, вызывающий отказ всей системы. Элемент системы распределения электропитания, который в определенный момент может стать причиной простоя, если в системе не предусмотрено средство в виде его обходной цепи.  Система с конфигурацией "N" представляет собой последовательность элементов, вызывающих отказ всех сети.  Отказ от их использования в схеме является ключевой задачей обеспечения резервирования.

Электронный промежуточный коммутатор (STS). Коммутатор STS, оснащенный двумя входами и одним выводом.  Он обычно получает питание от двух разных систем ИБП и подает на устройство контролируемое электропитание от одной из них.  При отказе основных фидеров ИБП коммутатор STS включит подачу питания на устройство со вспомогательного фидера ИБП в течение около 4 миллисекунд и, таким образом, обеспечит постоянную подачу питания на устройство.  Эта технология была разработана в начале 1990-х годов и широко используется в конфигурациях с распределенным резервированием. 

Основным недостатком этой схемы является использование электронных промежуточных коммутаторов.  Это очень сложные устройства, они могут переходить в неожиданные режимы отказа, наихудшим из которых является тот, при котором два входа могут замыкаться друг на друга.  В такой ситуации коммутатор STS может оказаться элементом, вызывающим сбой всей системы, так как он может стать причиной того, что одновременно два ИБП не смогут обеспечивать нагрузку.  Отказ коммутатора STS может вызвать неполадки в работе оборудования, находящегося в цепи до него, и негативно сказаться на работе всей системы.  По этой причине схема "система + система", описанная в следующем разделе, обладает большей общей доступностью, особенно если устройства-потребители оснащены двумя кабелями для резервной подачи питания.  

На рынке предлагается много разных конфигураций с коммутаторами STS и несколько степеней надежности коммутаторов STS.  В данной конфигурации коммутатор STS установлен перед устройством распределения электропитания (PDU) (т.е. со стороны с напряжением 480 В).  Это обычное расположение.  Многие инженеры считают, и вполне обоснованно, что установка коммутатора STS по ту сторону устройств распределения электропитания (PDU), где напряжение составляет 208 В, является более надежной.  Этот вариант более затратный, чем коммутатор STS на стороне с напряжением 480 В, и он более подробно рассматривается в информационной статье APC №48 “Сравнение доступности конфигураций с разной степенью избыточности”.

Однокабельные устройства. Когда рабочая среда состоит из однокабельного оборудования, каждая единица ИТ-оборудования может получать питание только от одного коммутатора STS или промежуточного коммутатора для монтажа в стойку.  Перенос коммутатора ближе к устройству является условием высокой доступности в архитектурах с резервированием, как показано в информационной статье APC №48. Подключение сотен однокабельных устройств к одному крупному коммутатору STS представляет собой фактор повышенного риска.  Установка многочисленных коммутаторов меньшего размера, подающих питание на меньшее число устройств (в процентном выражении), могла бы снизить серьезность проблемы.  Кроме того, в отличие от ситуаций с наличием одного крупного коммутатора STS, для многочисленных промежуточных коммутаторов для монтажа в стойку не свойственны режимы отказов, вызывающие неполадки в работе многочисленных систем ИБП, находящихся в цепи до коммутатора.  По этой причине использование промежуточных коммутаторов, установленных в стойке, становится все более широко распространенным, особенно в ситуациях, когда только небольшая часть устройств является однокабельными.  Различия между коммутаторами STS и промежуточными коммутаторами для монтажа в стойку более подробно рассматриваются в информационной статье APC №62 “Электропитание однокабельного оборудования в двухкабельной среде”.

Двухкабельные устройства. С течением времени использование двухкабельных устройств становится стандартом, поэтому применение коммутаторов STS не требуется.  Устройства можно просто подключить к двум отдельным устройствам распределения электропитания (PDU), питание на которые подается от разных систем ИБП.

Синхронизация нескольких источников. Если в центре обработки данных используются коммутаторы STS, то очень важна синхронизация двух подающих питание ИБП.  В отсутствие управления синхронизацией фазы модулей ИБП могут не совпасть, особенно если они работают от батарей.

Решением проблемы несовпадения фаз при переключении является установка синхронизирующего блока между двумя система ИБП, который обеспечит синхронизацию выводимого ими переменного тока.  Это особенно важно, когда питание не подается на модули ИБП и они работают от батарей.  Синхронизирующий блок обеспечивает постоянную синхронизацию систем ИБП, поэтому при переключении в коммутаторе STS фазы питания будут совпадать на 100%, предотвращая, таким образом, несовпадение фаз при переключении и возможное повреждение оборудования, установленного в цепи после синхронизирующего блока.  Конечно же, при установке синхронизирующего блока между независимыми система ИБП существует вероятность отказа, связанного с общим режимом, или отказа, в результате которого могут одновременно отключиться все системы ИБП.

Преимущества

  • Возможность обслуживания всех компонентов в процессе эксплуатации, если все устройства являются двухкабельными
  • Сокращение затрат по сравнению со схемой "2(N+1)" благодаря меньшему числу модулей ИБП
  • Две отдельные линии питания обеспечивают, с точки зрения любого конкретного двухкабельного устройства, резервную подачу питания
  • Возможность обслуживания модулей ИБП, коммутационного оборудования и другого оборудования распределения питания без переключения нагрузки в режим обходной цепи, при котором на устройства подавалось бы неконтролируемое электропитание.  Во многих схемах с распределенным резервированием отсутствует обходная цепь, предназначенная для обслуживания.

Недостатки

  • Относительная дороговизна (по сравнению с предыдущими конфигурациями) решения в связи с широким использованием коммутационного оборудования
  • Схема зависит от корректной работы коммутационного оборудования STS, которое является элементами, вызывающими отказ всей системы, и может переходить в сложные режимы отказа
  • Сложность конфигурации: в развернутых схемах установки с наличием большого числа модулей ИБП, а также электронных промежуточных коммутаторов и устройств распределения электропитания (PDU) может возникнуть проблема управления, не позволяющая равномерно распределить нагрузку по системам и узнать, какую нагрузку обеспечивает каждая из систем.
  • Неожиданные эксплуатационные режимы:  система может иметь большое число эксплуатационных режимов и возможностей переключения между ними.  Проверка всех этих режимов в ожидаемых ситуациях и при отказах с целью уточнения надлежащей работы стратегии управления и устройств, позволяющих устранять причины отказов, является очень сложной задачей
  • Неэффективность использования ИБП из-за того, что при нормальных условиях они работают с неполной нагрузкой

Конфигурация "система + система" с резервированием

"Система + система", "многосекционная параллельная шина", "двухсторонняя", 2(N+1), 2N+2, [(N+1) + (N+1)] и 2N - все это названия, относящиеся в различным вариантам этой конфигурации.  Благодаря этой схеме сейчас становится возможным создавать системы ИБП, которые никогда не потребуют переключения нагрузки на электросеть.  Эти системы могут быть созданы так, что будут находить все потенциальные элементы, вызывающие отказ всей системы.  Однако чем больше число элементов, вызывающих сбой всей системы, подлежит устранению, тем более дорогостоящей при внедрении будет схема.  Большинство конфигураций "система + система" установлено в отдельных, специально предназначенных для этого зданиях.  Очень часто объем пространства, занимаемого оборудованием, обеспечивающим поддержку инфраструктуры (помещения для ИБП, батареи, систем охлаждения, генератора, электрической распределительной сети и подсобные помещения), равняется объему оборудования центра обработки данных.

Это наиболее надежная, но и наиболее дорогостоящая схема в отрасли.  Она может быть как очень простой, так и очень сложной. Это зависит от видения инженера и требований владельца.  Хотя этой конфигурации и присвоено определенное название, детали схемы могут значительно варьироваться, и это, опять же, сильно зависит от видения и знаний инженера-проектировщика, ответственного за выполнение задания.  Вариант "2(N+1)" этой конфигурации, приведенный на Рис. 6, основан на дублировании систем с ИБП, обеспечивающих параллельное резервирование.  В оптимальном виде питание на системы ИБП должно подаваться от разных распределительных щитов и даже от разных линий электропитания и, возможно, от разных генераторов.  Высокие затраты на создание системы электроснабжения такого типа оправдывались важностью тех задач, которые выполняются в стенах центра обработки данных, и стоимостью простоев в работе.  Многие ведущие организации мира сделали выбор в пользу этой конфигурации, чтобы защитить свое критически важное оборудование.

wp75ris6

Рис. 6 - Конфигурация ИБП "2(N+1)"

Стоимость этой конфигурации зависит от того, насколько “глубокими и всеобъемлющими”, по мнению инженера-проектировщика, должны быть мероприятия по дублированию систем, чтобы они удовлетворяли потребностям клиента.  Фундаментальная концепция, лежащая в основе этой конфигурации, требует, чтобы для каждой единицы электрооборудования допускалась возможность отказа или отключения ее вручную, не предусматривающая необходимость переключения критической нагрузки на электросеть.  Общими для схем "2(N+1)" являются обходные цепи, позволяющие отключать участки системы и переключать их на альтернативные источники с сохранением избыточной целостности всей схемы установки.  Пример такой системы приведен на Рис. 6: соединительная цепь между входными щитами ИБП обеспечит возможность отключения одного из входов электросети без необходимости отключения одной из систем ИБП.  В схеме "2(N+1)" отказ одного из модулей ИБП приведет просто к выключению этого модуля ИБП из цепи и к переключению нагрузки на параллельные ему модули.

В этом примере, представленном на Рис. 6, критическая нагрузка составляет 300 кВт, поэтому, согласно схеме, требуется четыре модуля ИБП мощностью 300 кВт, попарно подсоединенных к разным шинам для параллельного подключения.  Каждая шина подает распределяемое питание по двум отдельным линиям непосредственно на двухкабельные устройства.  Однокабельное устройство, представленное на Рис. 6, показывает, как можно обеспечить резервирование за счет установки промежуточного коммутатора рядом с устройством.  Однако архитектуры питания яруса требуют, чтобы все устройства были двухкабельными.

Компании, сделавшие выбор в пользу конфигураций "система + система", обычно больше беспокоятся о высокой доступности, чем о связанных с этим расходах.  В таких компаниях также выше процент двухкабельных устройств.  Ниже перечислены дополнительные факторы, способствующие распространению этой схематической конфигурации (помимо факторов, рассмотренных в разделе, посвященном конфигурациям с распределенным резервированием).

Укрепление. Проектирование системы и здания, устойчивых к разрушительному воздействию природных явлений и различным видам каскадных аварий, которые возможны в электросистемах.  Возможность изолирования и локализации отказа, например: две системы ИБП не должны находиться в одном помещении, а батареи не должны находиться в одном помещении вместе с модулями ИБП.  Координация работы автоматических выключателей становится важным компонентом таких схем.  Надлежащая координация работы автоматических выключателей может предотвратить негативное воздействие коротких замыканий на значительные площади внутри здания.

Укрепление здания может также означать его малую  уязвимость для таких явлений, как ураганы, торнадо и наводнения, что может потребоваться в отдельных регионах.  Например, проект здания, предусматривающий его строительство в месте, удаленном от равнин, которые в течение 100 лет подвергались затоплению, в стороне от трасс авиалиний, наличие толстых стен или отсутствие окон - все это снижает его уязвимость.

Электронный промежуточный коммутатор (STS).  С распространением двухкабельного ИТ-оборудования от использования этих устройств с присущими им нежелательными режимами отказа можно отказаться, что значительно повысит доступность системы.

Однокабельные устройства.. Чтобы максимально использовать преимущества резервирования, обеспечиваемые схемами "система + система", однокабельные устройства следует подключать к промежуточным коммутаторам на уровне стойки.  Преимущества такого способа описаны в информационной статье APC №48 “Сравнение доступности конфигураций с разной степенью избыточности”.

Преимущества

  • Отсутствие элементов, вызывающих отказ всей системы, благодаря двум отдельным линиям питания; высокая степень отказоустойчивости
  • Обеспечение полного резервирования в такой конфигурации на всем протяжении цепи - от входа электросети до важных устройств
  • В схемах "2(N+1)" избыточность ИБП обеспечивается в любом случае, даже во время обслуживания в процессе эксплуатации
  • Возможность обслуживания модулей ИБП, коммутационного оборудования и другого оборудования распределения питания без переключения нагрузки в режим обходной цепи, при котором на устройства подавалось бы неконтролируемое электропитание
  • Больше возможностей равномерно распределить нагрузку по системам и узнать, какую нагрузку обеспечивает каждая из систем

Недостатки

  • Самое дорогостоящее решение из-за большого числа резервных компонентов
  • Неэффективность использования ИБП из-за того, что при нормальных условиях они работают с неполной нагрузкой
  • Низкая приспособленность типовых зданий для развернутых схем установки "система + система", которые должны обеспечивать высокую доступность и требуют размещения резервных компонентов в разных помещениях

Выбор подходящей конфигурации

Чем должна руководствоваться компания при выборе подходящего для нее варианта?  Ниже еще раз перечислены факторы, которые следует учитывать при выборе подходящей конфигурации.

  • Сравнение затрат и влияния простоев. Какой объем денежных средств ежеминутно проходит через компанию? Сколько времени потребуется на восстановление системы после отказа?  Ответы на эти вопросы позволят правильно построить дискуссию о бюджете.  От того, будет ответом "10 млн. долларов с минуту" или "1 млн. долларов в час", зависит ход всей дискуссии.
  • Допустимость рисков. Компании, не испытавшие крупных отказов, обычно отличаются большей допустимостью рисков, чем те, которые с ними сталкивались.  "Умные" компании учатся на том, что делают другие компании в их отрасли.  Это называется “сравнительной оценкой” и может выполняться многими способами.  Чем выше степень допустимости компанией рисков, тем больше будет внутренних предпосылок для ведения более надежных операций и наличия возможностей для восстановления после отказа.                                                                                                                                    
  • Требования по доступности.  Какова длительность простоев, которую может допустить компания за год работы в нормальном режиме?  Если ответом будет "нулевая", то в бюджете следует предусмотреть схему, обеспечивающую высокий уровень доступности.  Если, однако, бизнес-деятельность компании может быть свернута ежедневно после 22:00 часов, а также на большую часть выходных дней, тогда конфигурацию ИБП не стоит делать более сложной, чем обычная схема с параллельной избыточностью.  В какой-то момент каждый ИБП требует обслуживания, а системы ИБП время от времени, и обычно совершенно неожиданно, "отказывают".  Чем меньше времени может быть уделено в течение года для обслуживания, тем выше в системе потребность в элементах схемы резервирования.
  • Типы устройств (одно- и двухкабельные). Двухкабельные устройства обеспечивают реальную возможность использовать в схеме возможности резервирования, но схема "система + система" была создана еще до того, как появилось двухкабельное оборудование.  Начав производить двухкабельное оборудование, промышленность, выпускающая компьютерное оборудование, без сомнения, прислушалась к требованиям своих клиентов.  Знание типов устройств, используемых в центре обработки данных, может помочь в процессе проектирования, но не является столь же важной движущей силой, как аспекты, затронутые выше.
  • Бюджет. Расходы по внедрению схемы "2(N+1)" значительно выше по каждому аспекту, чем для схемы поддержания мощности, параллельного резервирования и даже распределенного резервирования.  Разницу в расходах для большого центра обработки данных можно проиллюстрировать следующим примером: для схемы "2(N+1)" может потребоваться тридцать модулей мощностью по 800 кВт каждый (по пять модулей на шину для параллельного подключения; шесть шин).  В схеме с распределенным резервированием для такого же помещения потребуется всего восемнадцать модулей по 800 кВт, что обеспечивает огромную экономию.

График-схема, представленная на Рис. 7, может стать полезной начальной точкой для выбора подходящей схематической конфигурации системы ИБП для конкретного применения.  Для схем с низким уровнем резервирования или без него следует предусмотреть периоды простоя, связанные с обслуживанием.  Если такой период простоя является неприемлемым, тогда следует выбирать схему, обеспечивающую возможность обслуживания в процессе эксплуатации.  Ответив на вопросы графика-схемы, можно определить подходящую систему.

wp75ris7

Рис. 7 - Процесс принятия решения при выборе схематической конфигурации

Выводы

Инфраструктура подачи питания является исключительно важной для успешной работы оборудования, которым оснащен центр обработки данных.  Существует много различных конфигураций ИБП, которые можно реализовать, и у каждой имеются как преимущества, так и ограничения.  Поняв потребности бизнеса в доступности, допустимости рисков и его финансовые возможности, можно выбрать наиболее подходящую схему.  Анализ, проведенный в настоящей статье, показывает, что архитектуры "2(N+1)" с подачей питания непосредственно на двухкабельные устройства, обеспечивают самую высокую степень доступности за счет полного резервирования и устранения элементов, вызывающих сбой всей системы. 

Приложение - Анализ доступности

Анализ доступности выполняется с целью количественного расчета доступности для пяти конфигураций, представленных в настоящей статье.   Подробные данные анализа представлены ниже.

Анализ доступности

Научный центр APC по анализу доступности оборудования вычисляет уровни доступности, используя специальный интегрированный анализ.  В этом подходе для представления доступности питания от электросети для этих пяти конфигураций используется сочетание блок-схемы надежности и модели пространства состояний.  Блок-схемы надежности используются для представления подсистем архитектуры, а диаграммы пространства состояний, которые также называются диаграммами Маркова, используются для описания возможных состояний электрической архитектуры.  Например, в случае отказа электросети ИБП выполняет переключение на батарею.  Все источники данных для анализа получены от таких уважаемых независимых источников, как IEEE и RAC.  Эти статистические уровни доступности основаны на предположениях, которые проверяются отдельно.

Доктор Джоанна Бехта Дуган, профессор университета Вирджинии

"С моей точки зрения, анализ заслуживает доверия, а используемая методология правомерна.  Использование блок-схем надежности и моделей Маркова является отличным подходом, который сочетает гибкость и точность моделей Маркова с простотой блок-схем надежности".

Данные, используемые при анализе

Данные, используемые для моделирования компонентов, представлены сторонними источниками.  В настоящем анализе внимание уделяется следующим ключевым компонентам.

  1. Контакты
  2. Автоматические выключатели
  3. Системы ИБП
  4. Устройство распределения электропитания (PDU)
  5. Электронный промежуточный коммутатор (STS)
  6. Генератор
  7. Автоматизированная испытательная система (ATS)

Устройство распределения питания (PDU) состоит из трех основных компонентов: автоматических выключателей, понижающего трансформатора и контактов.  При оценке монтажной панели предполагается, что один главный автоматический выключатель, один выключатель ответвленной цепи и контакты соединены последовательно.

Допущения, используемые при анализе

Очень важно, чтобы читатель правильно интерпретировал значения доступности для пяти конфигураций.  Для выполнения анализа доступности сложных систем с целью его упрощения требуется сделать некоторые допущения.  Поэтому приведенные здесь уровни доступности будут выше, чем ожидается при реальной установке.  В Таблице A1 приведены основные допущения, используемые в этом анализе.

Таб. A1 - Допущения, используемые при анализе

Допущение

Описание

Частота отказов компонентов

Все компоненты, рассматриваемые в анализе, демонстрируют постоянную частоту отказов.  Это самое оптимистичное допущение, основанное на том, что все оборудование будет использоваться только в течение указанного проектного срока эксплуатации.  Если бы продукты использовались дольше, при определении частоты отказов потребовалось бы вводить нелинейность.

Ремонтные группы

Предполагается, что ремонт “n” последовательных компонентов могут выполнить “n” ремонтников.

Системные компоненты продолжают работать

Предполагается, что во время ремонта вышедших из строя компонентов все компоненты системы продолжают работать.

Независимость отказов

В этих моделях предполагается, что описанная архитектура выстроена в соответствии с оптимальными методами, используемыми в отрасли.  Фактически, это приводит к малой вероятности возникновения и распространения отказов, вызванных обычными причинами, благодаря физической и электрической изоляции.  Это допущение не может быть полностью использовано для архитектур с распределенным резервированием, так как электронный промежуточный коммутатор (STS) может стать причиной отказа двух или трех разных ИБП, что приведет к отказу всей архитектуры.  Эта распространенная причина отказа была смоделирована для двух архитектур с распределенным резервированием.

Частота отказов электропроводки

Кабели, соединяющие компоненты архитектуры, не рассматривались при подсчете, поскольку частота отказов в электропроводке является слишком низкой, чтобы ее можно было предсказать с точностью и статистической достоверностью.  Кроме того, предыдущая работа показала, что столь низкая частота отказов практически не влияет на общую доступность.  Тем не менее, основные контакты также учитывались.

Ошибка, связанная с человеческим фактором

Простой, вызванный ошибками персонала, не учитывался в настоящем анализе.  Хотя это и является значительной причиной простоя центра обработки данных, цель создания настоящих моделей несколько иная: она заключается в сравнении архитектуры инфраструктуры питания и определении "физических недостатков" этой архитектуры.

Кроме того, данные о влиянии человеческих ошибок на доступность практически отсутствуют.

Доступность питания - это ключевой показатель

В настоящем анализе представлена информация относительно доступности питания.  Доступность бизнес-процессов обычно будет ниже, поскольку после восстановления питания восстановление доступности бизнеса происходит не сразу.  Обычно ИТ-системам требуется время для перезапуска, что увеличивает период, в течение которого система остается недоступной. Это время не учитывается в настоящем анализе.

Определение отказа в соответствии со стандартом

IEEE Std 493-1997 (Gold Book) -

Правила, рекомендованные IEEE для проектирования надежных промышленных и коммерческих систем электропитания

 

Любая неполадка компонента системы электропитания, приводящая к любой из следующих

ситуаций:

- частичное или полное отключение установки либо работа установки на уровне ниже стандартного;

- неудовлетворительная работа пользовательского оборудования;

- срабатывание релейной защиты электрооборудования или работа электросистемы установки

в аварийных условиях;

- обесточивание какой-либо электрической цепи или оборудования.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Комментарии

Ваше имя:

E-mail:  (на сайте не показывается)

Введите код с картинки:      

 

Каталог оборудования

 ИБП   Кондиционеры   Чиллеры 

HYIP (Хайп)

 About HYIP (о хайпах)   HYIP платит   HYIP скам   Обменники   Платёжные системы 

Компании

 DataCenterDynamics   Exsol (Эксол)   HTS   NVisionGroup   Union Group   Uptime Institute   UptimeTechnology   Ай-Теко   АйТи   АМТ-груп   Астерос   Аякс   ВентСпецСтрой   ДатаДом   Крок   Радиус ВИП   Термокул   Техносерв 

Оборудование

 Кондиционирование   Контроль доступа и безопасность   Мониторинг   Пожаротушение   Серверное оборудование   СКС   Фальшпол   Шкафы и стойки   Электроснабжение (ИБП, ДГУ) 

Пресса

 Connect - Мир связи   FOCUS   PC Week   ServerNews   Журнал сетевых решений / LAN   ИКС-Медиа 

Производители

 AEG   Chloride   Conteg   Delta Electronics   Eaton   Emerson Network Power   Green Revolution Cooling   HiRef   Hitec   Lampertz   Lande   LSI   Powerware   RC Group   Rittal   Schneider Electric   Stulz   Uniflair 

Рубрики

 Базовые станции   Интернет вещей   История   Криптовалюты   Мероприятия   Мобильный ЦОД   Обслуживание ЦОД   Опыт ЦОД   Суперкомпьютеры   Терминология   ЦОД в целом