За последние 15-20 лет системы кондиционирования центров обработки данных (ЦОД) сформировали отдельный сегмент на рынке систем кондиционирования. И со временем эта тенденция лишь усиливается. С целью более полного охвата рынка СКВ и выявления особенностей климатических систем дата-центров журнал «Мир Климата» начинает серию публикаций, посвященных кондиционированию ЦОД. Открывает серию статья о требованиях и особенностях систем кондиционирования ЦОД.

Что такое ЦОД?

Центры обработки данных (ЦОД, дата-центр) – это объекты (помещения) для размещения серверного (вычислительного, телекоммуникационного и др.) оборудования. Для более полного понимания, что же такое ЦОД, представим, что для обеспечения ИТ-потребностей конкретного человека служит ноутбук. Пользовательский ноутбук оснащён неким процессором, оперативной памятью, видеокартой, жестким диском, и имеет некоторые характеристики, соизмеримые с требованиями конкретного человека.

Но как бы выглядел ноутбук крупной компании? Как бы выглядел ноутбук глобального почтового или облачного сервиса, ноутбук для анализа климата Земли? Очевидно, мощность, память и производительность такого ноутбука должны  в сотни тысяч раз превышать параметры пользовательского компьютера. Именно такой «промышленный ноутбук» и можно назвать центром обработки данных – это здание или помещение, полностью отданное под начинку традиционного ноутбука.  Чаще же под ЦОДом понимают именно здание, а каждое помещение с ИТ-оборудованием в нём называют автозалом (или серверной).

Как выглядит ЦОД?

В классическом ноутбуке все элементы (процессор, память, …) объединены в едином корпусе. В ЦОДе каждый элемент настолько велик, что сам представляет собой отдельную единицу оборудования. Более того, требуемая мощность настолько велика, что одной единицы было бы мало, и одних только процессоров в дата-центре может стоять несколько шкафов. Отдельными рядами будут стоять объединённые единой сетью промышленные жесткие диски, по соседству –телекоммуникационное оборудование (сетевая карта ЦОДа), рядом – видео-сервера (видео-карта ЦОДа) и т.д.

Для унификации оборудования в ЦОД используется стандарт – всё серверное оборудование имеет ширину 19 дюймов, а устанавливается это оборудование в 19-дюймовые стойки. Данные стойки имеют единую полезную ширину, но различную фактическую ширину, так как по бокам от оборудования предусматриваются зазоры для прокладки кабелей. Полезная ширина всегда составляет 19” (482,6 мм), а фактическая, как правило, принадлежит стандартному ряду 600мм, 750мм, 800мм, 1000мм. Глубина стойки обычно кратна 50мм и варьируется в диапазоне от 600мм до 1200мм. Высота стойки может сильно варьироваться: от небольших навесных шкафчиков высотой до полуметра до полноценных шкафов высотой до 2,5 метров. Но в традиционных ЦОДах наибольшее распространение получили шкафы высотой порядка 2 метров.

Справедливости ради отметим, что в последнее время набирают популярность альтернативные форматы ИТ-стоек. Самый известный среди них – проект Open Compute Project, предложенный FaceBook.

Итак, автозал ЦОДа – это помещение, в котором рядами стоят 19”-стойки, а в стойках смонтировано ИТ-оборудование, обвязанное сетевыми (информационными) и питающими (электрическими) кабелями (см. рисунок 1)

Рисунок 1. Внешний вид автозала ЦОД.

Масштабы ЦОД

Формально под ЦОДом понимается помещение с ИТ-оборудованием. На практике же термин «ЦОД» применяется только к крупным помещениям. Мелкие помещения обычно называют серверными. Размер объекта определяется количеством стоек. Чёткой границы между ЦОД и серверной нет, более того она весьма размыта и можно услышать как «ЦОД на 50 стоек», так и «серверная на 100 стоек».

Как правило, помещения с числом стоек до 50 представляют собой небольшие объекты и именуются серверными (а также автозалами или машинными залами). При числе стоек от 50 до 200 штук речь идет о помещениях среднего размера, и здесь могут пойти в ход все три термина – ЦОД, серверная, автозал. Помещения, вмещающие более 200 стоек являются крупными ЦОД. Один из трендов последних лет – появление мега-ЦОД – очень крупных ЦОД с числом стоек в несколько тысяч штук.

Внутренняя архитектура ЦОД

Одним из самых важных для специалистов по кондиционированию аспектов является внутренняя архитектура ЦОД. На первых порах стойки в помещениях устанавливались беспорядочно и охлаждались обычными сплит-системами. Но с ростом мощностей и количества стоек беспорядочность стала носить катастрофический характер: к стойкам нужен подход спереди и сзади для монтажа и сервиса ИТ-оборудования. Кроме того, воздух от кондиционера не доходил до некоторых стоек, и оборудование в них перегревалось.

Так сформировалась рядная архитектура ЦОД. Все стойки в ЦОД устанавливаются боком друг к другу и образуют ряды. У стоек определились фронтальная и тыльная стороны. ИТ-оборудование также имеет переднюю сторону и устанавливается так, чтобы передняя сторона оборудования была доступна через переднюю дверь стойки, а тыльная сторона – через тыльную дверь.  Ряды в ЦОД формируются таким образом, чтобы в каждый конкретный ряд выходили только тыльные или только передние стороны стоек. То есть в соседних рядах стойки стоят не в одном направлении, а «навстречу» друг другу (см. рисунок 2).

Рисунок 2. Рядная архитектура ЦОД, образование холодных и горячих рядов.

Проход, в который выходят передние стороны стоек, называется холодным коридором. В него подается охлажденный воздух от кондиционеров, который потом попадает на вход в серверное оборудование. Серверное оборудование прогоняет воздух через себя, нагревает его и выбрасывает с тыльной стороны. Таким образом, в проходе с задними сторонами стоек накапливается нагретый воздух. Именно поэтому этот проход называется горячим коридором. Из горячего коридора воздух подается на вход кондиционерам для последующего охлаждения.

Сколько тепла выделяет ЦОД?

Основной источник теплоизбытков в ЦОД – серверное оборудование. Традиционно ёмкость ЦОДа измеряется количеством стоек в нём (а не количеством ИТ-оборудования) и средней мощностью стойки (а не мощностью каждой единицы оборудования).

На первых порах мощность стойки составляла 1-2 кВт. Современные ЦОД характеризуются средней мощностью стойки 5-7 кВт. Высокомощные стойки достигают 30 кВт, а стойки, используемые в суперкомпьютерах, могут выделять 100 кВт и более.

Сравним эти цифры с жилыми и офисными объектами. Как известно, для электроснабжения одной квартиры или частного дома выделяется порядка 5-10кВт энергии, по особому согласованию можно увеличить норму, например, до 20кВт. В ЦОДе те же 20кВт запросто могут быть «съедены» лишь одной стойкой из ста подобных.

Стойки средней мощности наиболее часто встречаются сегодня в ЦОДах любого масштаба – от небольших до мега-ЦОД. Таким образом, можно говорить о том, что небольшие ЦОД выделяют до 300кВт тепла, средние – до 1МВт, крупные – до 5МВт. Мощность мега-ЦОДов может достигать и превышать 20МВт.

Рядная архитектура ЦОД позволила уплотнить расположение стоек до 2-3 квадратных метров на одну стойку. При средней мощности стоек 7кВт получим, что удельные тепловыделения составят около 3кВт/м2. В то же время удельные тепловыделения в жилых и офисных объектах, как правило, лежат в диапазоне от 100 до 200Вт/м2. Таким образом, удельная мощность ЦОД в 20 и более раз превышает удельную мощность иных объектов.

Особенности ЦОД и требования к их охлаждению

Часть особенностей ЦОД вытекает из сказанного выше: это повсеместное использование стоек, рядная архитектура ЦОД и высокая мощность объекта, как абсолютная, так и удельная. Соответственно, система кондиционирования должна учитывать эти особенности. Но это ещё не всё.

Серверное оборудование предъявляет более высокие требования к точности поддержания температуры. Поэтому на 1 киловатт холода в кондиционерах для ЦОД приходится больший расход, нежели в бытовых кондиционерах. Иными словами, циркуляция воздуха в ЦОД осуществляется быстрее, чем в офисах. Добавьте к этому более высокую мощность объекта, что требует многократного увеличения расхода воздуха. Как результат, если скорость воздуха в офисах и квартирах составляет 0,1-0,2м/с, то в ЦОД – 0,5-1,0м/с.

Поскольку в автозалах ЦОД не предусматривается постоянных рабочих мест, то требования по скорости воздуха, а также по шуму и градиентам температуры гораздо более мягкие, чем на рабочих местах.

Центры обработки данных работают круглосуточно и являются объектами повышенной важности. Первое означает, что система кондиционирования ЦОД должна работать круглосуточно, а второй фактор повышает требования к надёжности работы системы кондиционирования. Обеспечение объекта холодом должно быть непрерывным, включая самые жаркие дни. Кроме того, охлаждение должно быть полноценным, даже если система кондиционирования частично выйдет из строя. Таким образом, в системе охлаждения ЦОД всегда должны быть резервные элементы.

Большинство серверного оборудования чувствительно к пыли и иным загрязнениям. Поэтому к воздуху в автозалах предъявляются более высокие требования по чистоте.

Параметры микроклимата в ЦОД

На вопрос, какую температуру и влажность следует поддерживать в ЦОД, сегодня нет однозначного ответа. Виной тому – быстрое развитие отрасли, изменение взглядов на архитектуру систем охлаждения ЦОД, тенденции к повышению энергоэффективности СКВ ЦОД и т.д.

На начальном этапе развития дата-центров чаще всего приходилось иметь дело с требуемой температурой 18-22°С и относительной влажностью 40-60%. В 2008 и 2011 годах выпускались директивы ASHRAE (American Society of Heating, Refrigerating, and Air-Conditioning Engineers, Aмериканское общество инженеров по отоплению, охлаждению и кондиционированию воздуха), согласно последней из которых рекомендуемый диапазон температур в машинном зале ЦОД составляет 18-27°С, относительная влажность не выше 60% при точке росы не ниже 5.5°С и не выше 15°С. Более подробно о данной директиве, а также о рекомендуемом и допустимых диапазонах читайте статью «Развитие директивы ASHRAE о микроклимате центров обработки данных».

На сегодня диапазон температур 18-27°С в большинстве случаев сохраняет свою актуальность, рекомендуемая влажность 40-60%. Поскольку в автозалах наблюдается большой градиент температур (более 10°С), то важно отметить, что речь идёт о температуре и влажности на выходе из кондиционера (то есть в холодном коридоре или на входе в ИТ-оборудование). Наиболее часто встречающиеся параметры воздуха при расчете кондиционеров в программах – 24°С/50%.

С целью снижения энергозатрат на кондиционирования в ряде случаев проектировщики стремятся обоснованно завысить температуру в ЦОД. Кроме того, некоторые производители серверного оборудования разрабатывают ИТ-оборудование, работающее при более высоких температурах, что также позволяет повысить рабочую температуру кондиционеров. Эти и другие частности будут рассмотрены в будущих статьях.

Почему в ЦОД применяются именно прецизионные кондиционеры

Собственно, ответ на вопрос, почему в ЦОД используются именно прецизионные кондиционеры, вытекает из особенностей дата-центров по сравнению с другими объектами и из формируемых ими требований к СКВ ЦОД. Объединим все причины в едином списке:

• Прецизионные (от фр. précision — точность) кондиционеры способны более точно поддерживать температуру воздуха

• Прецизионные кондиционеры способны поддерживать не только температуру, но и влажность воздуха

• Прецизионные кондиционеры оснащены более мощной системой фильтрации нежели обычные кондиционеры

• Прецизионные кондиционеры предназначены для непрерывной и круглогодичной работы (в том числе и в зимнее время)

• Форм-фактор прецизионных кондиционеров (как правило, это шкафные напольные блоки) разработан с учетом архитектурных особенностей ЦОД (рядная структура, наличие холодных и горячих коридоров, повышенная удельная тепловая мощность)

• Широкие возможности по резервированию (возможность резервирования кондиционеров, функция горячего ввода резерва, резервирование трубопроводов и подключение к разным энерговводам)

• Более широкие возможности по программированию контроллера, отображению информации, объединению блоков в единую сеть

• Более мощное оборудование (холодопроизводительность одного кондиционера от 6 до 200кВт)

• Широкий спектр исполнений кондиционера (фреоновые, водяные (гликолевые), их комбинации, а также различные виды конденсаторных блоков – с воздушным охлаждением, водяным и др.)

Таким образом, в малых серверных (несколько стоек мощностью не более 5кВт) ещё остается возможность применения бытовых и полупромышленных кондиционерах. Охлаждение остальных ЦОД строится исключительно на базе прецизионных кондиционеров. Внешний вид прецизионного кондиционера представлен на рисунке 3.

Рисунок 3. Внешний вид типичного шкафного прецизионного кондиционера

Уровни надёжности ЦОД и СКВ ЦОД

В зависимости от допустимого времени простоя ЦОД выделяют 4 уровня надёжности. Каждая инженерная система ЦОД должна соответствовать заявленному уровню надёжности. Характеристики уровней надёжности и соответствующие требования к системе кондиционирования приведены в таблице 1.

Таблица 1. Уровни надёжности ЦОД и соответствующие требования к системе кондиционирования ЦОД.

Уровень надёжности является важнейшей характеристикой будущей системы кондиционирования ЦОД. На сегодня наиболее распространенной является задача проектирования ЦОД под уровень надёжности Tier III.

Кондиционирование вспомогательных помещений в ЦОД

В средних и крупных центрах обработки данных помимо, собственно, автозалов имеются и другие помещения, требующие кондиционирования. В зависимости от типа помещения применяется то или иное климатическое оборудование (см. таблицу 2).

Таблица 2. Вспомогательные помещения ЦОД и применяемые в них системы кондиционирования.

Из списка помещений особого внимания заслуживает помещение ИБП – помещение, в котором установлены промышленные источники бесперебойного питания для электропитания серверного оборудования ЦОД. ИБП являются столь же важным оборудованием, как и серверное оборудование, а потому для их охлаждения также применяются прецизионные кондиционеры.

В настоящее время внешний вид промышленных ИБП мало отличается от серверных стоек – это шкафы, устанавливаемые в ряд боком друг к другу. Они имеют фронтальную и тыльную стороны, которые образуют, соответственно, холодные и горячие коридоры. Таким образом, архитектура помещений ИБП аналогична архитектуре автозалов, а методика их охлаждения аналогична методике охлаждения автозалов ЦОД.

Что необходимо знать для построения системы кондиционирования ЦОД

Основными сведениями, которые необходимы для проектирования системы кондиционирования ЦОД, являются количество стоек, средняя их мощность, требуемая температура и влажность в автозале ЦОД, уровень надёжности ЦОД.

Далее следует запросить планировку ЦОД с расстановкой стоек. Это позволит оценить свободное место и предварительную расстановку кондиционеров в машинном зале.

Особого внимания заслуживает вопрос наличия высокомощных стоек. Если они равномерно распределены по залу, то, вероятно, с их охлаждением справится общая система кондиционирования машинного зала. Если же они сгруппированы в одной месте, то более выгодным видится вариант установки отдельных мощных кондиционеров для этой группы стоек.

Из планировки также следует, установлены ли ИБП в машинном зале или они расположены в отдельном помещении. В первом случае охлаждение ИБП будет осуществлено кондиционерами автозала, во втором случае потребуются отдельные блоки системы кондиционирования.

При наличии на объекте бросовой или технической воды возможным вариантов отвода тепла могут быть конденсаторы с водяным охлаждением.

Первый пример

Рассмотрим конкретный пример укрупненного подбора оборудования для кондиционирования ЦОД. Допустим, перед нами стоит задача охлаждения ЦОД на 120 стоек средней мощностью 6кВт. ИБП установлены в отдельном помещении, их тепловыделение составляет 50кВт. Требуемый уровень надёжности ЦОД – Tier III, параметры микроклимата 24°С/50%.

Итак, мощность кондиционеров в автозале должна составлять 720кВт, в помещении ИБП – 50кВт, везде должны быть резервные единицы. Рассмотрим два варианта систем кондиционирования. Первый на базе фреоновых кондиционеров, второй – на базе чиллеров и водяных кондиционеров.

В первом варианте видится возможным установить 8 кондиционеров холодопроизводительностью 90кВт каждый, и один резервный агрегат (итого 9 штук). Для помещения ИБП следует предусмотреть один рабочий и один резервный кондиционер холодильной мощностью 50кВт. На каждый из кондиционеров подбирается конденсаторный блок. Резервирование осуществляется на уровне системы (в каждом помещении одна система «кондиционер-трубы-конденсатор» полностью зарезервирована). Подбор конкретных моделей кондиционера и конденсатора выполняют с помощью программы расчета из условия обеспечения выходной температуры 24°С и влажности 50%.

Во втором случае речь идет о чиллерной системе с гликолевым контуром. Количество и мощности кондиционеров можно оставить теми же, но при их расчете важно учесть процент гликоля в холодоносителе. Таким образом, для работы внутренних блоков требуется чиллер холодильной мощностью 820кВт, причем в количестве 2 штук – рабочий и резервный. Более экономичным видится вариант использования трех чиллеров по 410кВт (2 рабочих, 1 резервный). Также требуется зарезервировать магистральные трубопроводы между чиллерами и внутренними блоками и циркуляционные насосы.

Такой небольшой пример позволяет понять общую логику подбора оборудования для кондиционирования ЦОД. В дальнейших публикациях эти вопросы будут рассмотрены более глубоко и применительно к различным объектам – малым, средним и крупным ЦОД с акцентом на вопросы организации воздухообмена в машинных залах ЦОД.