Журнал «Мир Климата» продолжает серию публикаций, посвящённых теме вентиляции и кондиционирования центров обработки данных. На этот раз речь пойдет о кондиционировании ЦОД среднего размера – мы рассмотрим особенности подобных систем, возникающие  проблемы, тенденции данного сегмента рынка ЦОД.

Под центрами обработки данных среднего размеры мы будем понимать объекты с количеством телекоммуникационных стоек от 50 до 200 штук. При этом в ЦОДе, очевидно, будет устроена рядная архитектура с формированием горячих и холодных коридоров (подробнее про базовые принципы организации ЦОД читайте первую статью цикла («Почему центры обработки данных охлаждают отдельно? Общие требования и особенности СКВ ЦОД», Мир Климата №104).

Общие положения

Принятие той или иной концепции охлаждения ЦОД зависит от ряда факторов. Основным из них является мощность ИТ-стоек. Кроме того, имеют значение наличие и высота фальшпола и фальшпотолка, требуемое время автономной работы, наличие и удаленность свободного места снаружи для размещения оборудования, геометрия помещения.

Средняя мощность стойки

Средняя мощность стойки и диапазон этих мощностей играет большую роль в выборе типа системы кондиционирования. При этом ИТ-стойки следует «отсортировать» по потребляемой ими мощности.

Если распределение мощности по стойкам равномерное, то достаточно понимать среднюю мощность одной стойки, например, 5 киловатт.

Зачастую стойки в зависимости от мощности можно сгруппировать в 2-3 блока, в каждом из которых будут стойки примерно одной мощности. Например, это могут быть блоки стоек по 5, 10 и 15 киловатт.

Наихудший случай представляет собой ситуацию с большим разбросом мощности стоек без явных уровней группировки. Например, в ЦОДе предполагаются стойки мощностью от 3 до 30 киловатт, причём среди них есть стойки по 5, 7, 10 и т.д. киловатт.

На рисунке 1 приведены две вырезки из планировки ЦОД. На каждой из них по 10 стоек общей мощностью 70 киловатт. В первом случае мощность каждой стойки составляет 7 киловатт, нагрузка равномерно распределена между стойками. Охлаждать такой участок не составляет труда.

Другое дело – неравномерная нагрузка с явными эпицентрами тепловыделения. Отрегулировать систему охлаждения в этом случае гораздо сложнее. Более того, высоконагруженные стойки находятся по краям, что повышает риск перегрева ИТ-оборудования в них. Стойки по 10 и 15 киловатт рекомендуется разместить в середине ряда.

Рисунок 1. Два варианта ЦОД – с равномерным и неравномерным распределением мощностей по стойкам. Эффективно охладить ЦОД с большими перепадами мощностей сложнее.

Для каждого мощностного уровня стоек можно выделить оптимальные решения по организации системы кондиционирования. Если в дата-центре все стойки одной мощности, то это решение будет принято в масштабе всего ЦОД. Если в дата-центре выделяют 2-3 блока стоек одной мощности, то для каждого блока следует предусмотреть систему кондиционирования с соответствующими характеристиками (см. рисунок 2). В третьем случае следует действовать по обстоятельствам или группировать стойки принудительно.

Рисунок 2. В ЦОД предполагается размещение высоконагруженных (красные) и обычных (оранжевые) стоек. Для удобства их охлаждения они сгруппированы по блокам. Для каждого блока стоек предусмотрен свой тип системы кондиционирования – на базе внутрирядных и шкафных кондиционеров соответственно.

Наконец, если сетевая архитектура ЦОД не позволяет сгруппировать стойки нужным образом или одна из групп малочисленна, может быть принят смешанный вариант, когда в одном блоке будут находиться стойки различной мощности. Рекомендацией при этом будет равномерное распределение маломощных и высокомощных стоек (см. рисунок 3).

Рисунок 3. Если в ЦОДе есть несколько высоконагруженных стоек, которые не могут быть выделены в отдельный блок, их следует расставить равномерно среди прочих стоек. Не рекомендуется размещать высокнагруженные стойки в углу рядом друг с другом.

Здесь следует сделать важное отступление.

На практике специалист по кондиционированию ЦОД получает в работу готовую планировку ЦОД – планировку, на которой уже расставлены ИТ-стойки, указана их мощность. Иногда на планировке уже указано местоположение кондиционеров. Менять ИТ-архитектуру ЦОД, переставлять стойки или изменять их мощность зачастую не представляется возможным.

В подобных ситуациях следует искать разумный компромисс. Дело в том, что спроектировать неэффективный ЦОД проще, чем его потом эксплуатировать. Поэтому в ответ на неграмотную планировку имеет смысл высказать аргументированные возражения по тем или иным принятым концептуальным решениям. Но и иметь запасной вариант реализации системы охлаждения имеющейся планировки также нужно.

Кроме того, все приведенные рассуждения и рекомендации полезны для главных инженеров проектов и системных архитекторов – то есть специалистов, непосредственно занимающихся разработкой концепций и планировок центров обработки данных.

Концепции охлаждения – из чего выбирать?

Для охлаждения ЦОД среднего размера подойдут несколько видов систем кондиционирования – шкафные кондиционеры (см. рисунок 4), внутрирядные кондиционеры (см. рисунок 5), решения на базе технологии фрикулинга (свободного охлаждения). Последнему варианту – фрикулингу – мы посвятим отдельную статью цикла, поэтому в данном обзоре рассматривать его не будем, ограничившись шкафными и внутрирядными  кондиционерами.

В каждом из этих случаев речь может идти о DX-кондиционерах (Direct Expansion – прямое расширения, так называют традиционные фреоновые кондиционеры) или о водяных кондиционерах (кондиционеры, работающие на охлажденной, как правило, чиллером, воде).

Рисунок 4. Внешний вид шкафного кондиционера

Рисунок 5. Внешний вид внутрирядного кондиционера

Фреоновая или водяная система?

Вопросу, какую систему предпочесть, фреоновую или водяную, посвящено немало дискуссий. Каждая из них имеет свои преимущества и недостатки, которые, к тому же, меняются в зависимости от задач ЦОДа и целей будущего владельца дата-центра. Поэтому не всегда уместно говорить именно о преимуществах и недостатках, правильнее было бы сказать «особенности». Напомним их кратко.

1. Фреоновая система характеризуется, как правило, более высокой энергоэффективностью, поскольку имеет всего один холодильный контур и не имеет насосных групп и других дополнительных элементов. Однако диапазон регулирования температуры водяного контура в чиллерной системе больше, а потому больше и возможностей для экономии. Отличные результаты показывают и современные высокотемпературные чиллеры.

2. По той же причине (отсутствие насосных групп и других элементов) фреоновая система занимает меньше места, сеть трубопроводов короче, сами трубы меньшего диаметра. Однако каждому внутреннему блоку френовой системы соответствует один наружный блок, поэтому на крупных объектах с большим количеством кондиционеров наружных блоков тоже будет много. Учитывая расстояния между ними для обеспечения нормальной циркуляции воздуха, для их размещения потребуется немалая площадь. Весьма вероятно, что несколько чиллеров, пусть даже и с трубной развязкой и насосной группой, займут меньше места.

3. Фреоновая система состоит из самостоятельных единиц «внутренний блок – наружный блок», слаженность работы которых предусмотрена производителем оборудования. В чиллерной системе требуется мощная система автоматики, взаимоувязывающая множество компонентов системы.

4. Один из важных параметров ЦОД – время автономной работы. Это время, в течение которого ЦОД будет штатно функционировать при отсутствии внешнего электропитания. Автономность работы чиллерной системы обеспечивается установкой бака-аккумулятора достаточного объёма и небольших ИБП для работы насосов и вентиляторов. В случае фреоновой системы автономную работу можно обеспечить только мощными ИБП, от которых будут запитаны все кондиционеры. Причем помимо собственно ИБП потребуется и немалый массив аккумуляторных батарей, емкость которых обеспечит энергией кондиционеры на заданное время автономии.

5. Фреоновая система безопасна для ИТ-оборудования, в то время как водяная система в случае прорыва, может привести к серьезному ущербу.

Наилучшим вариантом читается проведение технико-экономического анализа обоих вариантов на перспективу 5-10 лет с последующим обоснованным выбором конкретной концепции.

Шкафные или внутрирядные кондиционеры?

Ещё одна дилемма, с которой приходится сталкиваться при устройстве системы кондиционирования ЦОД – выбор между шкафными и внутрирядными кондиционерами. Однако в данном случае выбор сделать проще, поскольку основным критерием является средняя мощность стоек, которые предполагается охлаждать данными кондиционерами.

Так, шкафные кондиционеры являются оптимальным решением для стоек мощностью до 7кВт. Для более мощных стоек также можно использовать шкафные кондиционеры, однако рекомендуется провести ряд дополнительных мероприятий, снижающих вероятность смешивания холодного и горячего потоков воздуха. Среди них – герметизация холодного и горячего коридоров, устранение зазоров между стойками, использование заглушек для неиспользуемых юнитов в стойке и др. В этом случае применение шкафных кондиционеров возможно и для охлаждения стоек мощностью до 15 киловатт или по расчёту.

Внутрирядные кондиционеры (их также называют межстоечными) изначально предназначены для охлаждения более мощных стоек – от 10 до 30 киловатт и выше. Существуют решения на базе внутрирядных кондиционеров и для охлаждения стоек по 60 киловатт, но такие стойки устанавливаются и охлаждаются отдельно от остальных.

Таким образом, если в дата-центре насчитывается, к примеру, 100 стоек по 7 киловатт и 20 стоек по 20 киловатт, то для каждого блока стоек рекомендуется применить собственную систему кондиционирования – на базе шкафных и внутрирядных кондиционеров соответственно. В случае использования водяной системы, оба типа кондиционеров могут быть подсоединены к одному водяному контуру. Таким образом, будет сформировано решение с единым наружным оборудованием и внутренними кондиционерами двух типов, адаптированных под мощностные характеристики ИТ-стоек.

Количество и расстановка кондиционеров

Общие принципы расстановки кондиционеров были сформулированы ранее при рассмотрении небольших дата-центров (см. «Правильное кондиционирование небольшого ЦОД», Мир Климата №105). Здесь мы остановимся на тех моментах, которые характерны для более крупных ЦОД. Речь пойдет о резервировании кондиционеров и организации венткамер.

Резервирование кондиционеров

В дата-центрах на 50-200 стоек чаще используются старшие модели из линейки шкафных кондиционеров. Это наиболее мощные, габаритные и производительные кондиционеры с наибольшим расходом воздуха. Последнее означает, что, вероятно, потребуется более высокий фальшпол. Кроме того, расстояние от кондиционера до ближайшей напольной решетки может быть увеличено до 2,5-3 плиток фальшпола (1500-1800 миллиметров). Это связано с тем, что более мощный поток воздуха, генерируемый кондиционером, требует чуть большего расстояния для нормализации.

В машинных залах на 100 и более стоек зачастую устанавливают более одного резервного кондиционера, даже если формальная схема резервирования принята N+1 (на N рабочих агрегатов 1 резервный). Дело в том ,что основная задача резервирования кондиционеров заключается не в слепом выполнении требования N+1, а в фактическом увеличении надежности системы в целом. Рассмотрим это на примере.

Допустим, мы имеем дело с ЦОД на 150 стоек мощностью 7 киловатт каждая. Общая мощность ИТ-оборудования составит 1050 киловатт. Мощность старшей модели фреонового кондиционера составляет 100 киловатт. Следовательно, в охлаждении машинного зала будет задействовано как минимум 11 агрегатов. Но наличие одной резервной машины на 11 рабочих не привнесет заметный вклад в надежность системы. Оптимальным является вариант, когда одна резервная машина приходится на 4-7 рабочих. Иными словами, в рассматриваемом примере желательно иметь хотя бы два резервных кондиционера.

Организация венткамер

Из примера выше видно, что для ЦОД рассматриваемого масштаба требуется немало кондиционеров. При этом каждый кондиционер требует технического обслуживания и общего наблюдения. Отдельная ситуация – вероятность аварии или протечки, когда ремонт агрегата предстоит выполнять непосредственно в машинном зале ЦОД – буквально в метре от ИТ-оборудования в помещении особого класса чистоты.

С целью изолировать кондиционеры и связанные с ними задачи от серверного оборудования возникла идея выделения кондиционеров в отдельное помещение. На большинстве объектов такое помещение называют венткамерой (несмотря на то, что непосредственно вентиляционных агрегатов в нём нет).

На рисунке 6 представлена планировка ЦОД с кондиционерами, размещенными в венткамере. Поскольку кондиционеры традиционно размещают в ряд вдоль стены, то помещение венткамеры оказывается узким и вытянутым вдоль одной из стен машинного зала. У обоих помещений общий фальшпол и фальшпотолок. Кондиционер всасывает горячий воздух из фальшпотолка и нагнетает охлажденный воздух под фальшпол.

Ширина венткамеры не регламентируется и обуславливается сервисной зоной кондиционера и элементарным удобством работы обслуживающего персонала.

Рисунок 6. Планировка ЦОД с кондиционерами, которые вынесены из машинного зала в отдельное помещение – венткамеру.

Охлаждение помещений ИБП

Для ЦОД среднего размера характерна организация отдельного помещения для источников бесперебойного питания (ИБП) и аккумуляторных батарей. Данные помещения также относятся к числу критически важных и требуют точного и надежного поддержания микроклимата. Как результат, помещения ИБП также оборудуются прецизионными кондиционерами.

В помещениях ИБП обычно устраивают фальшпол с такой же высотой, как и в машинном зале ЦОД. Это позволяет использовать в помещении ИБП шкафные прецизионные кондиционеры с выдувом воздуха под фальшпол.

Задача охлаждения ЦОД всегда подразумевает под собой также задачу охлаждения помещения ИБП. При оценочном расчете тепловыделения в помещении ИБП можно принимать в размере 8-10% от мощности серверного оборудования ЦОД.

Данная оценка основана на том, что КПД ИБП составляет порядка 94-96%, то есть тепловыделения от ИБП для серверного оборудования составляют 4-6%. Кроме того, отдельные ИБП устанавливаются для инженерного оборудования ЦОД, они также добавляют тепла. Некоторое количество тепла выделяется электрическими щитами и иным оборудованием. В итоге, как показывает практика, тепловыделение от ИБП можно принимать в размере 8-10% от мощности ИТ-оборудования.

Так, для рассмотренного выше примера ЦОД на 150 стоек мощностью 7 киловатт каждая общей мощностью 1050 киловатт получим тепловыделения в помещении ИБП в размере 100 киловатт. В помещении ИБП также должен присутствовать резервный кондиционер, поэтому имеет смысл рассмотреть  три варианта выбора кондиционеров:

1. Два кондиционера холодильной мощностью 100 киловатт – один рабочий и один резервный;

2. Три кондиционера холодильной мощностью 50 киловатт – два рабочих и один резервный;

3. Четыре кондиционера холодильной мощностью 34 киловатт – три рабочих и один резервный.

Очевидно, что каждый следующий вариант, с одной стороны, приводит к закупке меньших мощностей (200, 150 и 134 киловатта соответственно), но увеличивает количество единиц техники, занимаемую ими площадь и т.д. Соотношение стоимости решения и достигаемого уровня надежности, как правило, показывает, что наиболее оптимальным будет второй вариант – установка трёх кондиционеров по 50 киловатт каждый.

Кондиционеры для помещения ИБП также могут быть установлены в отдельное помещение – венткамеру. Пример планировки помещения ИБП с кондиционерами в венткамере приведён на рисунке 7.

Рисунок 7. Планировка ИБП с кондиционерам в отдельном помещении - венткамере.

Планировка для реального ЦОД

В качестве примера рассмотрим одну из реально разработанных концепций охлаждения машинного зала ЦОД на 234 стойки мощностью 5 киловатт каждая (см. рисунок 8) и помещения ИБП, в котором установлены источники бесперебойного питания, аккумуляторные батареи и электрощитовое оборудование (см. рисунок 9).

Общая мощность стоек составляет 1170 киловатт, чистая холодильная мощность каждого кондиционера 99,6 киловатт. Необходимое количество кондиционеров равно 11,7 штук, после округления в большую сторону получаем 12 штук. На 12 рабочих агрегатов принято 2 резервных. Таким образом, общее количество кондиционеров, обслуживающих машинный зал ЦОД, составляет 14 штук. Для удобства обслуживания кондиционеры вынесены в отдельное помещение – венткамеру (см. рисунок 8).

Тепловыделение помещения ИБП составляет 115 киловатт. Для охлаждения ИБП приняты 3 кондиционера с чистой холодильной мощностью по 62 киловатта каждый. Две единицы оборудования являются рабочими, третья – резервная. Ввиду отсутствия места кондиционеры установлены непосредственно в помещении ИБП (см. рисунок 9).

Помещения машинного зала и ИБП расположены на разных этажах. В помещении машинного зала предусмотрен фальшпол высотой один метр и кондиционеры с нижним выдувом. В помещении ИБП фальшпол отсутствует, кондиционеры приняты с нижним фронтальным выдувом непосредственно в помещение.

Для охлаждения ЦОД принята чиллерная система. В системе один контур, без промежуточных теплообменников. Холодоноситель – 40-процентный раствор этиленгликоля в воде. Гидравлический расчёт и арматура подобраны исходя из выбранного холодоносителя.

Время автономной работы при отключении электричества составляет 10 минут. Для обеспечения такой автономии требуется бак-аккумулятор объёмом 20 кубических метров. При этом с целью сокращения объёма бака-аккумулятора принят двойной прогон холодоносителя в системе.

Общая холодильная мощность системы составляет 1,5 мегаватта. Выработку такого количества холода обеспечивают 4 холодильных машины по 520 киловатт каждая, одна из которых является резервной.

О деталях проделанных расчётов и проработки вышеизложенной концепции охлаждения ЦОД будет рассказано в следующих материалах цикла статей, посвященного вентиляции и кондиционирования центров обработки данных.

Рисунок 8. Планировка машинного зала ЦОД на 234 стойки по 5 киловатт. Кондиционеры вынесены в венткамеру.

Рисунок 9. Планировка помещения ИБП. Кондиционеры установлены непосредственно в помещении ИБП.

Рисунок 10. Приципиальная схема системы холодоснабжения ЦОД

Заключение

Центры обработки данных средних размеров включают от 50 до 200 ИТ-стоек. Концепция охлаждения подобных объектов разрабатывается исходя из средней мощности стоек и их количества на каждом мощностном уровне. Если уровней несколько, то для каждого из них рекомендуется предусмотреть наиболее эффективный вариант кондиционирования.

Для охлаждения средних по размеру ЦОД в основном применяются прецизионные шкафные и внутрирядные кондиционеры. При этом система кондиционирования имеет ряд особенностей, в частности, в отношении резервирования и размещения климатического оборудования.

Источники бесперебойного питания, как правило, занимают отдельное помещение, в котором также следует предусматривать прецизионное кондиционирование. Логика принятия решений и формирования планировки для помещений ИБП аналогична машинным залам ЦОД.