Подбор кондиционеров для ЦОД имеет ряд особенностей – выбор концепции охлаждения, определение чистой холодопроизводительности кондиционера, расчёт теплопритоков, учёт коэффициента неодновременности, акцент на энергоэффективность. Рассмотрим перечисленные нюансы по порядку.

Концепции охлаждения ЦОД

В большинстве проектов рассматривается одна из трёх концепций охлаждения ЦОД (один из трёх видов систем кондиционирования). Это фреоновое охлаждение, водяное охлаждение и фрикулинг.

Фреоновое охлаждение подразумевает установку кондиционеров прямого расширения (DX) с выносными конденсаторами. Каждая такая пара кондиционер-конденсатор является независимой и может быть выведена из эксплуатации без оказания влияния на другие подобные пары. Для работы в зимнее время фреоновые кондиционеры требуют наличия низкотемпературного комплекта и не могут использовать режим свободного охлаждения (фрикулинга)

Водяное охлаждение предполагает использование чиллеров и кондиционеров водяного типа. Все эти элементы объединены единым контуром холодоносителя, что делает их взаимоувязанными в одну единственную систему. Помимо чиллеров и кондиционеров в системы входят насосная группа, расширительные и аккумулирующие баки, трубная обвязка. Всё вместе делает систему весьма громоздкой, однако для такой системы не требуется низкотемпературных комплектов и возможна реализация режима свободного охлаждения.

Фрикулинг представляет собой систему охлаждения ЦОД за счёт наружного воздуха в тот период времени, когда температура наружного воздуха ниже внутреннего. Учитывая, что внутри ЦОД поддерживается +24…+27°С, можно утверждать, что фрикулинг способен работать бóльшую часть года. В остальное время года используются фреоновые или водяные доводчики. Часто фрикулинг представляет собой систему охлаждения воздух-воздух.  Для отвода большого количества теплоизбытков такая система требует устройства сети воздуховодов большого сечения. Однако энергопотребление фрикулинга минимально.

Сравнение концепций и её выбор

Ни один крупный ЦОД не обходится без этапа концептуального проектирования и предварительного выбора концепции построения инженерных систем на основе технико-экономического анализа. Критериями выбора той или иной концепции являются: стоимость, потребляемая мощность, занимаемое место, сложность эксплуатации.

Практика показывает, что для малых ЦОД (количество стоек до 50 штук) наиболее выгодным решением являются системы охлаждения на базе фреоновых кондиционеров. Водяные системы и фрикулинг для небольших объектов оказываются слишком громоздкими, а их энергосбережение в абсолютных величинах слишком мало.

В ЦОД среднего размера могут быть оптимальны все три вида систем кондиционирования, однако фрикулинг на таких объектах всё же является редкостью, а фреоновые и водяные системы образуют своеобразный градиентный переход: от фреоновых к водяным при переходе от меньших к бóльшим дата-центрам среднего размера.

Наконец, в крупных и мега-ЦОД фреоновые системы – редкость. Ранее такие объекты оснащались чиллерными системами, сегодня всё чаще охлаждаются с использованием фрикулинга.

В таблицах 1-3 приведены обобщенные сведения по каждому виду системы кондиционирования ЦОД различной величины в разрезе рассматриваемых критериев. Эта информация может помочь в процессе выбора концепции охлаждения ЦОД, однако не стоит принимать её буквально, поскольку это лишь обобщённая статистика, полученная на основе осреднения множества концепций.

Таблицы 1-3. Сравнение различных видов систем кондиционирования для, соответственно, малых, средних и крупных ЦОД

После выбора концепции приступают к расчёту элементов системы кондиционирования. Большинство приведённых ниже пунктов справедливо для всех концепций, некоторые же (например, определение чистой холодопроизводительности) в явном применимы только к фреоновым и водяным системам, однако сформулированный подход справедлив и для фрикулинга.

Определение чистой холодопроизводительности кондиционеров

Основная особенность центров обработки данных заключается в практически полном отсутствии влагоизбытков в машинных залах. На объектах других типов – общественные и административные здания, кафе и рестораны, торговые центры и магазины – приток влаги обеспечивается находящимися там людьми, приточной вентиляцией, цветами и растениями, декоративными фонтанами и другими путями. В машинных залах дата-центров ничего подобного нет за исключением изредка появляющегося сервисного персонала, влагоприток от которого пренебрежимо мал.

Отсутствие притока влаги упрощает охлаждение помещение (не требуется тратить энергию на конденсацию воды), но усложняет расчёт системы кондиционирования (необходимо учитывать только явную холодопроизводительность кондиционеров). Для номинальных условий явная холодопроизводительность (Nя) указывается в каталоге, в иных ситуациях она может быть получена с помощью программы расчёта или путём умножения полной холодопроизводительности (Nп) на коэффициент SHR (Sensible Heat Ratio, отношение явной тепловой нагрузки к полной):

Nя = Nп·SHR

Второй шаг – получение чистой холодопроизводительности кондиционера исходя из явной. Дело в том, что в ЦОД, как правило, применяются мощные кондиционеры с мощными вентиляторами. Последние фактически являются оборудованием, создающим дополнительные теплопритоки в помещении. Или, иными словами, оборудованием, снижающим холодопроизводительность кондиционера. Зачастую мощность двигателя вентилятора «съедает» до 10% от холодильной мощности самого кондиционера (для EC-вентиляторов около 5%).

Итак, чистая холодопроизводительность кондиционера (Nч)равна явной холодопроизводительности за вычетом внутренних теплоизбытков кондиционера (Qк):

Nч = Nя – Qк = Nп·SHR – Qк

На рисунке 1 представлена схема, иллюстрирующая расход полной холодильной мощности агрегата на формирование конденсата, мощность вентилятора и чистую холодопроизводительность кондиционера.

Рисунок 1. Схема распределения полной холодильной мощности кондиционера

Например, полная холодопроизводительность шкафного кондиционера Stulz CyberAir3 ASD-461 на хладагенте R407c при нормальных условиях составляет 46,5 киловатт, явная – 43,7 киловатт. Мощность вентилятора равна 2,2 киловатта. Таким образом, чистая холодильная мощность, которую следует учитывать при подборе оборудования, составит 41,5 киловатт.

К слову, о такой особенности расчёта кондиционеров для ЦОД с некоторых пор стали заявлять сами производители. В частности, в тех же каталогах Stulz CyberAir3 величина мощности вентилятора преподносится как «мощность, поглощаемая вентиляторами» со сноской «Потребляемая электрическая мощность вентиляторов должна быть прибавлена к нагрузке помещения».

Ещё одна тонкость: обращайте внимание на условия, для которых даны мощностные характеристики кондиционеров. При нормальных условиях (для ЦОД – температура 24°С и влажность 50% внутри помещения при температуре 35°С снаружи) холодопроизводительность самых мощных шкафных фреоновых кондиционеров едва превышает 100 киловатт, а их явная холодопроизводительность в среднем на 5-15% ниже полной (чем мощнее модель, тем выше процент).

Тем временем в каталогах, например, Schneider Electric Uniflair IDAV холодильная мощность фреоновых шкафных кондиционеров достигает 160 киловатт при равенстве явной и полной холодильных мощностей. Ответ кроется в примечании к таблице: данные приведены для температуры 35°С и влажности 30% внутри помещения при температуре 35°С снаружи. Естественно, при столь высокой внутренней температуре мощность кондиционера резко возрастёт, а при низкой влажности отсутствие конденсата обеспечит высокую явную холодильную мощность.

В случае фрикулинга суть определения чистой холодопроизводительности также сводится к вычету мощности вентиляторов из явной холодильной мощности установки свободного охлаждения.

Напоследок отметим, что учёт мощности вентилятора в идеале должен производиться при расчёте кондиционеров не только для ЦОД, но и для любых объектов, однако в офисных и жилых помещениях мощность вентилятора пренебрежимо мала.

Учёт всех теплопритоков в ЦОД

Распространённая ошибка при подборе кондиционеров в ЦОД – среди теплопритоков учитывать только мощность серверного оборудования. В глазах проектировщика задача выглядит так: «нужно охладить ЦОД на 500 киловатт, следовательно, необходимо подобрать несколько кондиционеров общей холодильной мощностью 500 киловатт». Однако классическую методику расчёта теплопритоков в помещение от разных источников никто не отменял, и теплоприток от технологического оборудования – лишь одно из слагаемых в ней. Рассмотрим их.

Нормы предписывают избегать окон в машинных залах ЦОД. Таким образом, теплоприток от солнечной радиации часто (но не всегда!) равен нулю. Кроме того, в машинных залах ЦОД нет постоянных рабочих мест, следовательно, теплоприток от людей также равен нулю. Остальные теплопритоки – теплопритоки через ограждающие конструкции, от приточной вентиляции и от освещения – подлежат расчёту по формулам согласно общей теории о кондиционировании. В ряде случаев таких «нежданных» теплопритоков может «набежать» на десяток киловатт.

Наконец, напомним про тепловыделения помещений ИБП и иных помещений ЦОД (электрощитовая, операторская и другие). Комплексный подход к созданию микроклимата в ЦОД подразумевает учёт всех помещений объекта.

Коэффициент неодновременности и недозагруженности

Два коэффициента – неодновременности и недозагруженности – часто объединяют в один (kн) и принимают в диапазоне от 0,7 до 1,0 в зависимости от характера вычислительных задач, решаемых дата-центром. Среднее рекомендуемое значение составляет kн = 0,8.

Данный коэффициент учитывает тот факт, что не всё серверное оборудование в ЦОД работает одновременно, и не всё серверное оборудование загружено на 100% своих возможностей. Кроме того, в ряде ЦОД не все стойки заполнены серверным оборудованием, что опять-таки говорит об уменьшении фактических теплопритоков относительно максимального уровня.

Исключением являются, например, суперкомпьютеры. Этот вид ЦОД имеет наивысшую загрузку. Рекомендуемый коэффициент неодновременности и недозагруженности для суперкомпьютеров составляет 1.

Итак, реальный теплоприток от серверного оборудования ЦОД равен произведению максимальной мощности серверного оборудования на коэффициент неодновременности и недозагруженности:

Qреал = QИТ · kн

Коэффициент запаса

Коэффициент запаса (kз) фактически нейтрализует только что рассмотренный коэффициент неодновременности и недозагруженности, однако в общем случае не стоит выпускать из виду ни один из них.

Коэффициент запаса служит для учёта вероятных перегрузок на объекте, снижения холодопроизводительности системы со временем, ухудшения качеств холодоносителя, играет роль дополнительного резерва мощностей. Рекомендуемое значение коэффициента запаса составляет kз  = 1,2 и может быть изменено по согласованию с заказчиком.

Соответствие температур холодоносителя

Ещё одна часто встречающаяся ошибка – несоответствие расчётной температуры холодоносителя для водяного кондиционера и чиллера. Стандартным температурным графиком холодоносителя является 7/12°С. Однако в ЦОД часто применяются более высокие графики: 10/15°С, 12/17°, а иногда и 15/20°С.

Более высокие температурные графики позволяют избежать появления конденсата во внутреннем блоке и существенно повысить холодильную мощность чиллера. Однако повышение температуры холодоносителя понижает холодильную мощность внутреннего блока. В маркетинговых целях производители могут указывать в каталогах холодильную мощность внутреннего блока для низких температур холодоносителя, а холодильную мощность чиллера – для более высоких температур холодоносителя. Очевидно, на практике такая система правильно работать не будет.

В данном случае следует обращать внимание на условия, для которых приведены данные в каталогах, а лучше – пользоваться вендорскими программами расчёта.

Принцип соответствия распространяется и на тип холодоносителя: чистая вода или водный раствор гликоля. Он же применим и для подбора выносных конденсаторов фреоновых кондиционеров: расчётная наружная температура внутреннего блока и конденсатора должна совпадать.

Акцент на энергоэффективность

Системы кондиционирования являются наиболее энергоёмкими среди инженерных систем ЦОД, и имеют наибольший потенциал экономии потребляемой мощности. Для большинства ЦОД характерно плавное наращивание мощности ИТ-оборудования. Следовательно, длительное время система охлаждения будет работать при неполной нагрузке. Данный режим обязательно должен учитываться при подборе климатического оборудования в ЦОД.

Кроме того, акцент на максимизацию энергоэффективности системы кондиционирования ЦОД заключается в выборе кондиционеров с инверторными приводами компрессоров (с учётом оговорки, указанной ниже), регулируемыми вентиляторами, электронным ТРВ, а также в выполнении ряда рекомендаций применительно к серверным стойкам дата-центра.

Эти и другие рекомендации, а также технологии энергосбережения, применяемые в прецизионных кондиционерах, были подробно разобраны в материалах «Технологии прецизионных кондиционеров» («Мир климата», №101) и «Новые методы повышения энергоэффективности систем кондиционирования центров обработки данных» («Мир климата», №64). Ниже мы остановимся только на особенностях применения в ЦОД кондиционеров с инверторными компрессорами и различными модификациями вентиляторной секции.

Инверторные и неинверторные компрессора

В последние годы технологиям плавного регулирования холодопроизводительности уделялось огромное внимание. В технике прецизионного кондиционирования инверторные приводы стали рассматриваться как базовая комплектация агрегата, а классические неинверторные – как опциональные. Однако в настоящий момент всё чаще возникают разговоры о том, что для охлаждения ЦОД инверторные кондиционеры не обязательны.

Дело в том, что среднерыночная максимальная мощность одного холодильного контура составляет 50 киловатт. Агрегаты холодильной мощностью от 50 до 100 киловатт являются двухконтурными, а, следовательно, двухкомпрессорными. Контуры таких кондиционеров могут работать по отдельности, то есть фактически такая компоновка реализует регулирование холодопроизводительности по схеме 0-50-100%.

Если в машинном зале установлено 6 (5 рабочих и 1 резервный) кондиционеров, а каждый кондиционер имеет регулирование 0-50-100%, то в масштабах машинного зала полная мощность одного кондиционера составит 20% от общей тепловой нагрузки, а формула регулирования преобразится в 0-10-20%.

Иными словами, если в дата-центре установлено 5 двухконтурных кондиционеров, то можно говорить о том, что на объекте уже реализовано регулирование холодопроизводительности в диапазоне от 0 до 120% с точностью до 5% (половина шага в 10%). Разве этого не достаточно?

Закупка оборудования с инверторными компрессорами повышает стоимость системы охлаждения в среднем на 20-30%, а фактическая выгода заключается лишь в нивелировании и без того невысокой 5-процентной ошибки. При желании повысить точность регулирования разумным решением является установка одного инверторного кондиционера на один машинный зал. В этом случае обычные агрегаты обеспечат базовую холодильную мощность, а один инверторный доведёт её до точного соответствия тепловой нагрузке машинного зала ЦОД.

Секции вентилятора

Потребляемая вентиляторами кондиционеров мощность одного машинного зала достигает десятков киловатт. Как мы уже выяснили, эта величина фактически является дополнительным теплопритоком помещение ЦОД и требует увеличения мощности системы охлаждения. Производители предлагают различные методы снижения мощности вентиляторов.

Так, распространённой стала практика выноса вентиляторной секции кондиционера под фальшпол (см. рисунок 2). Это обеспечивает увеличение свободного места внутри кондиционера, снижение его аэродинамического сопротивления, выдув воздуха не вертикально вниз в пол, а горизонтально в глубину подфальшпольного пространства. Всё вместе позволяет сэкономить 5-15% от номинального энергопотребления вентиляторов.

Рисунок 2. Внешний вид кондиционеров с вентиляторной секцией, размещаемой под фальшполом

Ещё одна разработка – откидные теплообменники внутри кондиционера. Такие теплообменники могут занимать более выгодное с аэродинамической точки зрения положение. Функция требует присоединения к кондиционеру специальной секции, увеличивающей глубину кондиционера для проведения манёвра. Снижение энергопотребления вентиляторов достигает 10%.

Пример расчёта

В качестве примера рассмотрим задачу кондиционирования только машинного зала ЦОД, мощность которого равна QИТ = 500 киловатт, прочие теплопритоки составляют Qпр = 5 киловатт, коэффициенты недозагруженности и запаса равны, соответственно, kн = 0,8 и kз = 1,2, температура и влажность внутреннего воздуха составляют 24°С и 50%.

Расчётная величина теплоизбытков для данного ЦОД составляет:

Qр = (QИТ · kн + Qпр) · kз = (500·0,8 + 5) · 1,2 = 486 кВт.

В качестве базовой примем модель кондиционера Stulz CyberAir3 ASD-1072. Полная холодильная мощность агрегата равна Nп = 102,4 кВт, явная – Nя = 88 кВт, мощность вентилятора Qк  = 4,6 кВт. Чистая холодильная мощность составляет:

Nч = Nя – Qк = 88 – 4,6 = 83,4 кВт.

Для покрытия 486 кВт теплоизбытков потребуется установить:

n = Qр / Nч  = 486/83,4=5,83

или, округляем в большую сторону и учитываем одну резервную единицу, 7 кондиционеров.

«Слепой» расчёт (мощность ЦОД разделить на мощность кондиционера) привёл бы к недопоставке одного кондиционера: 500/102,4 = 4,88 или, округляем в большую сторону и учитываем одну резервную единицу, 6 кондиционеров, что на единицу меньше правильного результата.