Некоторые типичные ошибки проектирования и эксплуатации систем охлаждения вычислительных центров и помещений коммутационных узлов

(Техническое руководство № от 49APC)/Рассматривается ряд типичных ошибок проектирования и эксплуатации систем охлаждения и стоечной инфраструктуры в вычислительных центрах и коммутационных узлах, а также их влияние на уровень готовности и расходы. Промах, совершенный по незнанию, может стать причиной появления зон локального перегрева, снижения отказоустойчивости, эффективности и производительности системы охлаждения. Обычно вина возлагается на специалистов по эксплуатации, однако многие проблемы бывают обусловлены неправильным размещением оборудования ИТ, что выходит за рамки их компетенции. В настоящей статье раскрываются причины таких типовых ошибки и их последствия, а также предлагаются простые меры по исправлению.

Введение

В большинстве помещений вычислительных центров и коммутационных узлов можно найти множество разнообразных ошибок (включая проектные и ошибки конфигурации), которые препятствуют выходу на расчетную производительность охлаждения и эффективной доставке охлаждающего воздуха по назначению. Обычно эти недостатки остаются незамеченными благодаря тому, что потребность в охлаждении значительно ниже проектной. Однако в последнее время из-за роста плотности мощности нового оборудования нагрузка на системы охлаждения все чаще приближается к расчетным пределам, и тогда выясняется, что во многих вычислительных центрах они не способны работать с ожидаемой эффективностью.

Помимо возможного снижения уровня готовности из-за плохой работы систем охлаждения это влечет за собой значительное увеличение расходов. В настоящей статье описаны распространенные проектные ошибки, угрожающие снижением эффективности системы охлаждения на 20% и более. Независимые исследования APC и Национальной лаборатории им. Лоуренса в Беркли показали, что энергопотребление системы охлаждения типичного вычислительного центра сравнимо с потреблением всего установленного в нем оборудования ИТ (см. рис. 1). Снижение эффективности охлаждения на 20% соответствует повышению полного потребления электроэнергии на 8%, что за десятилетний срок эксплуатации вычислительного центра общей мощностью 500 кВт выливается примерно в 700 тыс. долларов дополнительных расходов. И столь значительных потерь можно избежать самыми простыми мерами, требующими минимальных расходов или даже вообще без затрат!

ris1

Рис. 1  Структура потребления электроэнергии типичным вычислительным центром

Неоптимальность работы системы охлаждения вычислительного центра может быть обусловлена множеством факторов. В их число входят ошибки проектирования и подготовки спецификаций, неправильная организация воздушных потоков, доставляющих холодный воздух к оборудованию. В этой статье я решил сосредоточить внимание на проблемах, обусловленных неправильным распределением охлаждающего воздуха и ошибками монтажа оборудования ИТ. И вот почему:

  • Для проблем этой группы существуют простые, легко реализуемые и проверенные практикой решения.
  • Многие рекомендации применимы к уже действующим вычислительным центрам.
  • Значительный эффект достигается небольшими капиталовложениями или вообще без них.
  • Необходимые работы могут выполняться как специалистами ИТ, так и обслуживающим персоналом ВЦ.
  • Решения не зависят от специфики объекта, включая его географическое положение.
  • Значительного эффекта можно достичь простыми организационными мерами.

Типичные ошибки можно разделить по следующим пяти группам, которые будут далее рассмотрены одна за другой:

  • Организация воздушных потоков внутри шкафов с оборудованием.
  • Расстановка шкафов.
  • Распределение нагрузки.
  • Настройки системы охлаждения.
  • Расположение отверстий воздуховодов.

В каждой группе рассматривается ряд ошибок с простым описанием возникающих эффектов и их влияния на уровень готовности и совокупную стоимость приобретения и эксплуатации (TCO). Для удобства пользования статьей основные положения сведены в таблицы.

Наконец, описывается ряд методов, позволяющих значительно повысить уровень готовности вычислительного центра и снизить показатель TCO.

Основные требования к организации воздушных потоков

Движение воздуха внутри шкафа с оборудованием и вокруг него – определяющий фактор качества охлаждения. Главное – выполнить два основных требования аппаратуры ИТ:

  1. Подача должным образом кондиционированного воздуха к воздухозаборным отверстиям.
  2. Отсутствие препятствий, затрудняющих приток воздуха внутрь корпуса устройства и отток из него.

Две наиболее распространенных проблемы, которые этому препятствуют:

  1. Смешение кондиционированного воздуха с отработанным нагретым на пути к воздухозаборным отверстиям оборудования.
  2. Блокирование воздушных потоков препятствиями.

Как подробно описывается в последующих разделах, очень часто внешне разумные решения приводят к возникновению проблем, после чего столь же разумные меры борьбы с отдельными следствиями вместо причин оборачиваются существенным снижением уровня готовности и ростом затрат.

Организация воздушных потоков внутри шкафов с оборудованием

Часто шкафы рассматриваются исключительно как механическая опора; однако они играют важную роль в предотвращении подсоса нагретого воздуха в воздухозаборные отверстия оборудования. Перед этими отверстиями образуется разрежение, а отработанный воздух находится под несколько повышенным давлением, что создает предпосылки для его повторного попадания внутрь корпуса. Описанный эффект преобладает над конвекцией вопреки распространенному мнению о ее достаточности для отвода отработанных воздушных масс. Заглушки, устанавливаемые на переднюю панель шкафа, перекрывают кратчайшие пути подсоса нагретого воздуха и тем самым препятствуют его смешению с холодным.

Практика пренебрежения установкой заглушек в той или иной степени распространена в 90% вычислительных центров несмотря на специальные напоминания всех крупных производителей о необходимости их использования. Подсос нагретого воздуха может приводить к повышению температуры оборудования на величину 15 °F, или 8 °C. Подробное описание этого эффекта с экспериментальными данными можно найти в информационной статье APC № 44 «Improving Rack Cooling Performance Using Blanking Panels» («Влияние заглушек на качество охлаждения стоечного оборудования»). Заглушки меняют направление воздушных потоков внутри и вокруг шкафа, как показано на рисунке 2. Их установка не представляет никакой трудности и обходится чрезвычайно дешево.

Рис. 2 Подсос нагретого воздуха в отсутствие заглушки

ris2

                 2А - Без заглушек                                                       2В - С заглушками

Однако нередко шкафы имеют конструктивные недостатки, из-за которых подсос горячего воздуха возникает даже при установленных заглушках или при заполнении оборудованием всех позиций. Так, при использовании утопленных направляющих в широких шкафах возникают большие зазоры по бокам установленных устройств. Монтаж оборудования на полки препятствует использованию заглушек со всеми вытекающими последствиями. В конструкции некоторых стандартных 19-дюймовых шкафов имеются зазоры вокруг направляющих, а также в верхней и нижней частях корпуса, которые не перекрываются заглушками. Многие модели просто не предназначены для эксплуатации в составе технических сред высокой плотности компоновки. Правильный выбор шкафов для монтажа оборудования и использование заглушек позволяют значительно уменьшить подсос горячего воздуха и сократить образование зон локального перегрева.

Выгоды с точки зрения готовности применения заглушек, предотвращающих локальный перегрев, и шкафов для монтажа оборудования, не допускающих смешения нагретого воздуха с холодным, вполне очевидны. Но есть и другие весьма значительные преимущества, которые менее очевидны и потому требуют пояснений.

Влияние смешения воздушных потоков на отказоустойчивость

Значительное смешение воздушных потоков в стоечной среде ведет к снижению отказоустойчивости и увеличению потребности в техническом обслуживании. В большинстве случаев охлаждение обеспечивается системой управления микроклиматом на уровне помещения состоящей из нескольких кондиционеров, соединенных с общим подающим воздуховодом. Нередко это делает возможным продолжение нормальной работы и уменьшении количества кондиционеров – при отказе либо остановке на сервисное обслуживание одного из них остальные принимают дополнительную нагрузку на себя. В таких конфигурациях отрицательное влияние смешения воздушных потоков на отказоустойчивость выражается в следующем:

  • Уменьшение разницы температур на входе и выходе кондиционера из-за смешения нагретого и охлажденного воздуха ведет к снижению эффективности и максимальной производительности системы охлаждения.
  • В случае отключения одного из кондиционеров оставшиеся оказываются не в состоянии скомпенсировать потери в мощности охлаждения, что приводит к дальнейшему усилению смешения воздушных потоков и перегреву оборудования.

Влияние смешения горячего и холодного воздуха на показатель TCO

Влияние перегрева на уровень готовности и отказоустойчивость – уже вполне убедительное основание, чтобы следовать единому для всего вычислительного центра стандарту шкафов для монтажа оборудования и использовать заглушки. Однако если учесть еще и влияние этих факторов на показатель TCO, выбора просто не остается.

Основную часть затрат на протяжении жизненного цикла систем кондиционирования составляет стоимость электроэнергии для охлаждения воздуха и обеспечения работы вентиляторов. От смешения воздушных потоков максимальная мощность охлаждения не меняется, но значительно страдает эффективность процесса. Это означает, что увеличиваются расходы на электроэнергию. Более того, как можно видеть из рис. 3, частные отрицательные эффекты взаимно усиливают друг друга.

На рисунке 3 схематически представлены типичные последствия попыток борьбы не с причиной – смешением воздушных потоков, а с ее следствием – локальным перегревом. Чаще всего прибегают к снижению температуры воздуха на выходе из кондиционера и увеличению объема его подачи (совместно или по отдельности). Как видно из рисунка, это ведет к значительным непредвиденным затратам. Снижение степени смешения горячих и холодных воздушных потоков предлагаемыми в настоящей статье проектными решениями и организационными мерами требует минимальных затрат и позволяет избежать представленных на рисунке последствий.

ris3

Рис. 3 Последствия смешения воздушных потоков

Препятствия на пути воздушных потоков ограничивают поступление охлаждающего воздуха к оборудованию, что ведет к перегреву. А препятствия, расположенные непосредственно перед стойкой с оборудованием или позади нее, еще и усиливают подсос нагретого воздуха через незакрытые заглушками пустые ячейки или иные отверстия. Вот почему так важно использовать шкафы с большой эффективной площадью перфорации дверец и достаточным пространством для прокладки кабелей, что позволяет избежать блокирования ими воздушных потоков. Иногда пользователи отдают предпочтение неглубоким шкафам в расчете на повышение коэффициента использования площадей – а затем обнаруживают, что размещение в них оборудования с максимальной плотностью невозможно из-за блокирования кабелями воздушных потоков.

Таб. 1  Ошибки в устройстве шкафов для монтажа оборудования с точки зрения организации воздушных потоков и их последствия

Ошибка

Влияние на уровень готовности

Влияние на TCO

Способы устранения

Отсутствие заглушек на лицевой панели

Размещение оборудования на полках

Использование 23-дюймовых шкафов без уплотнителей вокруг направляющих

Локальный перегрев, особенно в верхних частях шкафов

Потеря резервирования охлаждения

Увеличенный расход электроэнергии

Пониженная производительность кондиционеров

Повышенная потребность в техническом обслуживании увлажнителя

Увеличенный расход воды

Установите заглушки

Откажитесь от использования полок

Используйте шкафы без больших зазоров вокруг направляющих

Установите уплотнители вокруг направляющих в широких шкафах

Отсутствие уплотнений кабельных вводов в днище шкафа и в плитах фальшпола

Локальный перегрев, особенно в верхних частях шкафов

Снижение статического давления под фальшполом

Потеря резервирования охлаждения

Пониженная эффективность кондиционеров

 

Установите уплотнения на кабельные вводы в днище шкафа и в плитах фальшпола

Стеклянные дверцы

Дверцы с малой эффективной поверхностью перфорации

Перегрев

Усугубление проблем, связанных с отсутствием заглушек

Снижение эффективности использования площадей и шкафов

Установите полностью перфорированные передние и задние дверцы

Установка вентиляторов на передней или верхней поверхности  шкафа

Малоэффективная мера. Те же средства можно было бы использовать с большей пользой

Бесполезно потраченные средства

Бесполезно расходуемое электричество

Откажитесь от использования вентиляторов на передней или задней панели и в верхней крышке шкафа

Недостаточно глубокие шкафы

Кабели блокируют воздушные потоки, что ведет к перегреву

Снижается эффективность использования площадей и шкафов

Используйте шкафы достаточной глубины, позволяющие разместить кабели так, чтобы они не препятствовали  свободному движению воздуха

В дополнение к описанным выше пассивным средствам управления воздушными потоками внутри шкафа применяются различные внутренние системы вентиляторов. Некоторые из них, такие как вентиляторы на передней или задней панели и в верхней крышке шкафа, малоэффективны. Другие же, распределяющие холодный воздух из-под фальшпола вдоль передней части стойки или вытягивающие нагретый воздух из ее тыльной части, способны обеспечить значительный эффект, уменьшая смешение воздушных потоков и увеличивая максимальную допустимую мощность оборудования в стойке. Подробное обсуждение таких систем содержится в информационной статье APC №46 «Power and Cooling for Ultra-High Density Racks and Blade Servers» («Средства питания и охлаждения для стоечных систем, используемых для размещения оборудования повышенной плотности тепловыделения и систем одноплатных серверов»). Выбор в качестве корпоративного стандарта шкафов для монтажа оборудования, рассчитанных на установку дополнительных эффективных вентиляционных систем, позволит во всеоружии встретить будущий рост плотности мощности.

Расстановка шкафов

Распределение воздушных потоков внутри шкафа чрезвычайно важно для эффективного охлаждения, о чем говорится в предыдущем разделе. Но это еще не все. Расстановка шкафов в помещении играет определяющую роль в снабжении каждого из них необходимым объемом воздуха надлежащей температуры. Здесь все зависит от организации воздушных потоков в помещении.

Задача выбора расстановки шкафов та же: предотвращение смешения холодного воздуха с нагретым, чтобы он по возможности не терял своих качеств на пути от кондиционера к оборудованию. И основной принцип проектирования тот же: максимально возможное физическое разделение масс горячего отработанного и холодного кондиционированного воздуха.

Решение хорошо известно. Располагая шкафы рядами, обращенными друг к другу поочередно лицевыми и тыльными сторонами, можно сильно ограничить перемешивание воздуха. Принципы этого решения описаны в информационной статье «Alternating Cold and Hot Aisles Provides More Reliable Cooling for Server Farms» («Чередование холодных и горячих проходов для более надежного охлаждения групп серверов») института «Uptime Institute».

Несмотря на очевидные преимущества схемы «горячий проход - холодный проход» исследования показывают, что примерно в 25% вычислительных центров и коммутационных узлов шкафы устанавливаются в ряды таким образом, что тыльные стороны одних обращены к лицевым сторонам других. Размещение одних шкафов лицевыми сторонами к тыльным сторонам других вызывает сильное смешение холодных и горячих воздушных потоков, что практически гарантирует возникновение зон локального перегрева и значительное повышение эксплуатационных затрат. Величина этого повышения зависит от конкретного случая, что было показано на рисунке 3.

Однако для эффективного применения схемы «горячий проход - холодный проход» недостаточно просто расставить шкафы в нужном порядке. Из тех 75% случаев, когда это условие выполняется, более чем в 30% не реализована необходимая схема подачи кондиционированного воздуха к шкафам и отвода нагретого. Это будет обсуждаться ниже, в разделе «Расположение отверстий воздуховодов».

Что же касается случаев, когда все шкафы ориентированы одинаково и схема «горячий проход - холодный проход» не используется, собственные исследования APC показывают, что, как правило, причина заключается в распоряжении руководства, направленном на придание помещениям вычислительного центра более привлекательного вида. Из данных этих же исследований можно сделать вывод, что столь неудачные распоряжения никогда не были бы отданы, если бы их негативные последствия были вовремя четко разъяснены.

Для случаев, когда все шкафы ориентированы одинаково, многие из описанных здесь методов значительно менее эффективны. Если изменить расстановку невозможно, единственным эффективным способом борьбы с локальным перегревом оказывается установка дополнительных блоков распределения воздуха.

Таб. 2  Ошибки размещения шкафов и их последствия 

Ошибка

Влияние на уровень готовности

Влияние на TCO

Способы устранения

Все шкафы ориентированы одинаково

Не применяется схема «горячий проход - холодный проход»

Локальный перегрев

Потеря резервирования охлаждения

Снижение производительности охлаждения

Частые поломки увлажнителя

Избыточное потребление электроэнергии

Избыточное потребление воды

Повышенная потребность в техническом обслуживании увлажнителя

Переход на схему «горячий проход - холодный проход»

Шкафы не выстроены в ряды

То же

То же

Составление шкафов в ряды

Шкафы выстроены в ряды, но не плотно состыкованы

То же

То же

Сплочение шкафов в рядах

Устранение зазоров между шкафами

Распределение нагрузки

Ошибки в размещении оборудования, в особенности устройств большой мощности, могут создавать значительные перегрузки инфраструктуры вычислительного центра. Это происходит, например, при установке множества мощных серверов в один или несколько расположенных рядом шкафов. В результате образовываются зоны локального перегрева, для устранения которых приходится снижать температуру воздуха на выходе из кондиционеров или увеличивать их число. Негативные последствия таких мер были представлены на рисунке 3.

По указанным причинам следует распределять мощность нагрузки насколько возможно равномерно. К счастью оптоволоконные и Ethernet-соединения позволяют увеличивать расстояния в ИТ-системе без ущерба для производительности. Обычно концентрация устройств большой мощности в одном месте объясняется соображениями удобства. Поэтому необходимо разъяснять преимущества распределенной установки.

Известны и другие способы компенсации отрицательного влияния высокой концентрации мощности в пределах стойки на работу систем охлаждения. Этот предмет подробно освещен в информационной статье APC № 46 «Power and Cooling for Ultra-High Density Racks and Blade Servers» («Средства питания и охлаждения для стоек с оборудованием повышенной плотности тепловыделения и системами одноплатных серверов»).

Таб. 3  Ошибки распределения нагрузки и их последствия

Ошибка

Влияние на уровень готовности

Влияние на TCO

Способы устранения

Сосредоточение нагрузки

Локальный перегрев

Потеря резервирования охлаждения

Избыточное потребление электроэнергии

Распределяйте мощность нагрузки как можно более равномерно

Настройки системы охлаждения

Выше были рассмотрены отрицательные последствия снижения температуры воздуха на выходе из кондиционера. Этот параметр желательно держать на наивысшем возможном уровне. В идеальном случае, в отсутствие смешения воздушных потоков воздух можно было бы охлаждать ровно до 20-25 °C (68-77 °F), т.е. до требуемого для компьютерного оборудования уровня. Однако на практике температура воздуха, поступающего к охлаждаемому оборудованию, оказывается несколько выше, чем на выходе из кондиционера. Описываемые здесь методы организации воздушных потоков позволяют свести эту разницу к минимуму. Таким образом, оптимальная производительность и эффективность охлаждения достигаются при установке температуры воздуха на выходе из кондиционера несколько ниже уровня предъявляемых к охлаждающему воздуху требований.

Если температура воздуха на выходе кондиционера довольно жестко определяется устройством системы распределения воздуха, то значение влажности можно выбирать сравнительно свободно. Его завышение грозит серьезными неприятностями. Во-первых, на испарителе будет происходить активная конденсация, что значительно снизит производительность кондиционера по охлажденному воздуху. Более того, впоследствии придется дополнительно увлажнять кондиционированный воздух, что может вести к увеличению расхода воды на тысячи и десятки тысяч литров в год в типовом вычислительном центре; а увлажнители представляют собой мощный источник тепла, которое также потребуется отводить, что дополнительно увеличит нагрузку на кондиционеры. Ситуация усугубляется в случае значительного смешения воздушных потоков, поскольку воздух приходится охлаждать до более низкой температуры, и влаги конденсируется еще больше. Таким образом, не следует допускать превышения уровня влажности над минимально необходимым.

В некоторых вычислительных центрах, включая большинство центров старой постройки, эксплуатируются высокоскоростные принтеры, при работе которых накапливается значительный статический заряд. Стандартной мерой обеспечения его безопасного стекания является поддержание относительной влажности на уровне около 50%. Но в отсутствие таких устройств вполне достаточно влажности и в 35%. Снижение этого показателя с 45% или 50% до 35% способно сэкономить немало воды и энергии, особенно в условиях значительного смешения воздушных потоков.

Дополнительная проблема может возникнуть при работе в одном помещении нескольких кондиционеров с увлажнителями. Очень часто между ними начинается усобица за установление «своего» уровня влажности. Достаточно чтобы температура воздуха на выходе двух кондиционеров немного отличалась, не совпадала калибровка датчиков влажности, либо заданные значения влажности были неодинаковы. Один кондиционер будет осушать воздух, в то время как другой его увлажняет. Такой режим работы ведет к чрезвычайно высоким затратам и, в то же время, лишен каких-либо особых признаков, по которым его можно было бы немедленно идентифицировать.

Справиться с описанной проблемой можно одним из следующих методов: A) централизованное управление влажностью, B) координация работы кондиционеров, C) отключение одного или нескольких увлажнителей, D) задание «люфта» по влажности. У каждого есть свои преимущества, но здесь они не рассматриваются. Обычно при возникновении описанной проблемы следует проверить, одинаковы ли регулировки всех кондиционеров и правильно ли откалиброваны датчики, а затем расширить «люфт» влажности (большинство систем кондиционирования уровня помещения имеет эту регулировку). Как правило, оказывается достаточно «люфта» в +/-5%.

Таб. 4 Ошибки задания настроек системы охлаждения их последствия

Ошибка

Влияние на уровень готовности

Влияние на TCO

Способы устранения

Установлено слишком высокое значение влажности

Локальный перегрев

Потеря резервирования охлаждения

Избыточное потребление электроэнергии

Избыточное потребление воды

Повышенная потребность в техническом обслуживании увлажнителя

Установите влажность на уровне 35-50%

Несколько кондиционеров борются за установление контроля над влажностью в одном помещении

Потеря резервирования охлаждения

Снижение максимальной мощности охлаждения

Избыточное потребление электроэнергии

Избыточное потребление воды

Повышенная потребность в техническом обслуживании увлажнителя

Отрегулируйте все кондиционеры на одно и то же значение влажности

Установите  «люфт» по влажности в 5%

Используйте централизованную схему увлажнения

Отключите ненужные увлажнители

Расположение отверстий воздуховодов

Организация воздушных потоков внутри шкафа и расстановка шкафов чрезвычайно важны для повышения эффективности охлаждения. Но есть в этом уравнении еще одна, заключительная составляющая – расположение вентиляционных отверстий. Ошибки в ней ведут к подмешиванию отработанного воздуха в холодные потоки еще до того, как они достигнут охлаждаемого оборудования. Связанные с этим проблемы уже описаны выше. Ошибки описанного рода довольно распространены и способны сводить на нет почти все преимущества схемы с чередованием «горячих» и «холодных» проходов.

Основное правило размещения отверстий, через которые подается охлаждающий воздух, – максимальное приближение к воздухозаборным отверстиям оборудования при удержании охлаждающего воздуха в «холодных» проходах. В случае подачи воздуха из-под фальшпола это означает, что плиты с вентиляционными отверстиями должны располагаться только в «холодных» проходах. Подача охлаждающего воздуха по проложенным поверху каналам может быть не менее эффективна, чем распределение под фальшполом, только вентиляционные отверстия должны располагаться над «холодными» проходами и обеспечивать движение воздуха сверху вниз (без рассеивания по сторонам). В обоих случаях необходимо предусмотреть возможность перекрытия вентиляционных отверстий в зонах, где нет работающего оборудования. Иначе часть воздуха будет поступать на вход кондиционера холодной, что поведет к усиленному осушению и снижению производительности охлаждения.

Вытяжные вентиляционные отверстия следует располагать над «горячими» проходами, по возможности над выпускными отверстиями оборудования. Использование фальшпотолка позволяет легко соблюсти это условие. В отсутствие фальшпотолка следует размещать вытяжные отверстия как можно выше и, по возможности, над «горячими» проходами. Даже устроенный без предварительных расчетов воздуховод всего с несколькими отверстиями, грубо согласованными с расположением «горячих» проходов, лучше, чем одиночное вытяжное отверстие в стене.

В небольших помещениях без фальшпола и без воздуховодов кондиционеры часто устанавливаются в углу или вдоль стены. В таких случаях трудно согласовать схемы подачи охлаждающего и вытяжки нагретого воздуха с расположением «холодных» и «горячих» проходов. Страдает производительность. Но кое-что все же можно сделать и в такой ситуации:

  • Кондиционер с движением охлаждаемого воздуха снизу вверх следует установить вблизи торца «горячего» прохода, а затем проложить воздуховод для подачи кондиционированного воздуха в максимально удаленную точку «холодного» прохода.
  • Кондиционер с движением охлаждаемого воздуха сверху вниз следует установить вблизи торца «холодного» прохода, для подачи кондиционированного воздуха в его нижнюю часть, а для вытяжки проложить воздуховоды в фальшпотолке либо подвесные, с отверстиями над «горячими проходами».

Как показывают исследования, неправильное расположение вентиляционных отверстий имеет следующую распространенную причину: обслуживающий персонал, замечая, что в одних проходах воздух имеет высокую температуру, а в других – низкую, воспринимает это состояние как нежелательное, и ситуация «исправляется» перемещением отверстий подачи охлаждающего воздуха в горячие проходы, а вытяжных – в холодные. Именно то состояние, к которому следует стремиться, воспринимается как неправильное, из-за чего предпринимаются усилия по перемешиванию воздуха, ухудшающие работу системы охлаждения и повышающие затраты. Люди не понимают, что «горячие» проходы должны быть именно горячими.

Очевидно, что правильного расположения вентиляционных отверстий проще всего добиться на этапе строительства. Поэтому важно заранее составить план помещения с указанием расположения рядов и их ориентации.

Таб. 5  Ошибки размещения вентиляционных отверстий и их последствия

Ошибка

Влияние на уровень готовности

Влияние на TCO

Способы устранения

Вытяжные отверстия расположены не над «горячими» проходами

Плафон фальш-потолка с вытяжным отверстием расположен над «холодным» проходом

Локальный перегрев, особенно в верхних частях шкафов

Потеря резервирования охлаждения

Избыточное потребление электроэнергии

Пониженная производительность кондиционеров

Повышенная потребность в техническом обслуживании увлажнителя

Избыточное потребление воды

Расположите вытяжные отверстия над «горячими» проходами

Не устанавливайте плафоны с вытяжным отверстием над «холодными» проходами либо блокируйте их

Отверстия подачи холодного воздуха проложенных поверху воздуховодов расположены над «горячими» проходами

Плиты фальшпола с вентиляционными отверстиями находятся в «горячем» проходе

Локальный перегрев

Потеря резервирования охлаждения

Избыточное потребление электроэнергии

Пониженная производительность кондиционеров

Повышенная потребность в техническом обслуживании увлажнителя

Избыточное потребление воды

Всегда располагайте отверстия верхней подачи воздуха над «холодными» проходами

Всегда располагайте плиты фальшпола с вентиляционными отверстиями в холодных проходах

Плиты фальшпола с вентиляционными отверстиями вдалеке от охлаждаемого оборудования

Отверстия подачи холодного воздуха проложенных поверху воздуховодов над участком, где нет охлаждаемого оборудования

Отверстия для каналов, кабелей, труб по периферии фальшпола

Незначительное

Избыточное потребление электроэнергии

Пониженная производительность кондиционеров

Перекрывайте вентиляционные отверстия, расположенные вдали от охлаждаемого оборудования

Вытяжное отверстие расположено значительно ниже потолка

Снижение производительности системы охлаждения

Потеря резервирования охлаждения

Избыточное потребление электроэнергии

Пониженная производительность кондиционеров

Повышенная потребность в техническом обслуживании увлажнителя

Избыточное потребление воды

Используйте фальшпотолок либо достройте воздуховод, чтобы поднять вытяжные отверстия на максимальную высоту

Организационные меры

Соблюдение приведенных здесь рекомендаций при строительстве нового вычислительного центра позволит значительно повысить уровень готовности, предотвратить возникновение зон локального перегрева и сократить эксплуатационные расходы. Некоторые из них применимы и к уже действующим вычислительным центрам. Естественно, лучше избегать проблем, нежели потом с ними бороться. Проведенные APC исследования показывают, что большинство недостатков устройства системы охлаждения являются непреднамеренными и проистекают из недопонимания важности правильного распределения воздуха с точки зрения производительности, готовности и эксплуатационных затрат. Эта причина эффективно устраняется организационными мерами.

Таб. 6  Предлагаемые требования к построению и эксплуатации вычислительного центра

Требование

Обоснование

Требование использовать схему «горячий проход - холодный проход»

Разделение горячего и холодного воздуха уменьшает число зон локального перегрева, повышает отказоустойчивость и значительно снижает потребление электроэнергии. Хорошо известно, что расположение шкафов с оборудованием лицевой стороной к тыльной ведет к смешению охлаждающего воздуха с уже использованным предыдущим рядом, а значит, к перегреву оборудования и к значительному снижению производительности кондиционеров.

Требование установки заглушек в свободные позиции всех стоек

Заглушение отверстий предотвращает подсос нагретого воздуха, чем препятствует возникновению зон локального перегрева и способствует продлению срока службы оборудования. Все производители серверов и устройств хранения включают требование применения заглушек в свои спецификации.

Требование установки уплотнений на все отверстия в днище шкафов и плитах фальшпола

Система распределения охлаждающего воздуха под фальшполом предназначается для подачи его к воздухозаборным отверстиям оборудования, которые выходят на лицевую сторону стоек. А через отверстия под шкафами охлаждающий воздух может попадать в вытяжную систему, минуя охлаждаемое оборудование, что снижает эффективность охлаждения.

Запрет на охлаждение «горячих» проходов. Они должны быть именно горячими.

Назначение «горячего» прохода состоит в отделении отработанного нагретого воздуха от подаваемого к оборудованию холодного. Любые попытки устранения этого разделения ведут к ухудшению, снижающему надежность и повышающему эксплуатационные расходы. «Горячий» проход предназначен для нагретого отработанного воздуха. Поддержание его горячим – оборотная сторона поддержания холодным «холодного» прохода, из которого отбирается воздух для охлаждения оборудования.

Следование принятому стандарту стоечной инфраструктуры

Шкафы для монтажа оборудования выполняют важную функцию в системе охлаждения, не ограничиваясь лишь ролью механических опор. При установлении корпоративного стандарта этого элемента инфраструктуры необходимо учитывать наличие мер предотвращения подсоса горячего воздуха к воздухозаборным отверстиям оборудования и условий для правильной организации воздушных потоков, а также возможность прокладки кабелей без блокирования воздушных потоков и возможность установки дополнительного оборудования для повышения максимально допустимой плотности мощности.

Требование максимально равномерного распределения нагрузки

Сосредоточение оборудования большой мощности в одном месте ухудшает условия его эксплуатации и, обычно, ведет к повышению эксплуатационных расходов. Кроме того, концентрация источников тепла отрицательно сказывается на отказоустойчивости системы охлаждения. Может оказаться необходимым изменение температуры и влажности воздуха на выходе из кондиционера, а это понизит максимальную производительность системы охлаждения и повысит ее затраты.

Часто применение организационных мер порождает конструктивные дискуссии. Важный их элемент –размещение информационных надписей и табличек. На рисунке 4 представлен пример таблички для вывешивания в горячем проходе. Она объясняет, почему некоторые зоны должны оставаться горячее других.

ris4

Рис. 4  Табличка для вывешивания в горячем проходе

Выводы

Система распределения воздуха – часть инфраструктуры вычислительного центра, функционирование которой не всегда правильно понимается. Нередко специалисты ИТ и обслуживающий персонал осознанно или неосознанно вмешиваются в организацию воздушных потоков с отрицательными последствиями как для уровня готовности, так и для эксплуатационных расходов.

В прошлом эти последствия были не столь серьезны благодаря низкой плотности мощности в вычислительном центре. Но рост этого показателя в последнее время начинает выбирать резервы систем охлаждения, приводя к образованию зон локального перегрева и снижению производительности охлаждения по отношению к проектному уровню.

Такие ошибки, как установка одних шкафов лицевой стороной к тыльной стороне других, часто совершаются по эстетическим соображениям, чтобы произвести некое впечатление; однако разбирающиеся в технических аспектах пользователи и заказчики видят в этом лишь проявление неопытности, и у них возникает впечатление, совершенно противоположное желаемому.

Ряд несложных организационных мер, сопровождаемых доступными пояснениями, позволяет избежать ошибок специалистов ИТ и обслуживающего персонала, отрицательно влияющих на уровень готовности и показатель TCO.

Теги:
#Монтаж
#Опыт ЦОД

Оставить комментарий

Ваше имя:
E-mail:
(Не обязательно)
Текст комментария:
Введите код с картинки:  

Дополнительные материалы

ПРОФЕССИОНАЛЬНОЕ обучение проектированию систем вентиляции и кондиционирования

Можно ли зимой включать кондиционер на обогрев

Вытяжка в стену: как подобрать и правильно сделать своими руками

3 способа сделать увлажнитель воздуха для квартиры и дома своими руками

Всё самое важное про турбодефлекторы: что такое, принцип работы, внешний вид, как подобрать

Вентиляция в квартире: самое полное руководство простым языком

Встраиваемая вытяжка на кухне: важные нюансы по устройству и подключению

Вытяжка в дачном туалете: как сделать правильно своими руками