Малые центры обработки данных представляют собой отдельный сегмент рынка ЦОД и имеют ряд специфических особенностей. Крупные дата-центры занимают значительную часть здания, а иногда и здание целиком – в любом случае они расположены в здании. Варианты исполнения небольших ЦОД значительно более многочисленны. Это может быть комната в здании, шкаф в комнате, контейнер на улице или даже мобильный ЦОД на колёсах. О таких центрах обработки данных речь и пойдёт ниже.

В продолжение классификации, принятой в первой статье цикла (см. «Почему центры обработки данных охлаждают отдельно? Общие требования и особенности СКВ ЦОД», Мир Климата №104), под небольшими ЦОД в рамках данного обзора мы будем понимать серверные помещения, включающие в себя не более 50 стоек.

Рынок малых ЦОД

Рынок малых ЦОД – самый крупный сегмент рынка ЦОД в целом, причем, как с финансовой, так и с энергетической точек зрения. Своё лидерство рынок малых ЦОД обеспечивает не стоимостью или мощностью отдельных объектов, а их количеством.

Дело в том, что в небольших серверных нуждается практически каждая хоть сколько-нибудь крупная организация. Почтовый сервер, АТС, электронный документооборот, архив, корпоративный сервер или база знаний и многое другое – это всё примеры сервисов, работу которых обеспечивает ЦОД компании.

До появления облачных технологий у каждой организации были небольшие ЦОД ёмкостью до 15 стоек для обеспечения жизнедеятельности компании. ЦОД, которые выполняют задачи конкретной компании, называются корпоративными ЦОД. Появление облачных сервисов несколько пошатнуло рынок малых корпоративных ЦОД, так как компаниям проще получать облачные услуги, недели содержать собственный ЦОД. Однако сегмент малых ЦОД продолжает быть лидером среди прочих сегментов рынка ЦОД в целом.

Итак, рынок малых ЦОД включает в себя:

• Корпоративные ЦОД компаний, которые не хотят или не могут использовать коммерческие ЦОД;

• Коммерческие ЦОД до 50 стоек;

• Базовые станции операторов связи;

• Помещения АТС, коммутаторов, кроссовых;

• Контейнерные ЦОД;

• Мобильные ЦОД;

• Суперкомпьютеры.

Рядная архитектура небольших ЦОД

Каким бы ни был по типу и масштабу ЦОД, в нём должна соблюдаться рядная архитектура. Иными словами, ИТ-стойки должны стоять боком друг к другу, образуя ряды, причем в один и тот же проход должны выходить строго только фронтальные или только тыльные стороны стоек. Таким образом, проход, в который выходят фронтальные стороны стоек становится холодным коридором, а проход, куда выходят тыльные стороны стоек – горячим коридором. Подобная структура позволяет упорядочить расположение шкафов, повысить эффективность охлаждения ЦОД, упросить обслуживание серверного оборудования и инженерных систем.

В небольших ЦОД зачастую приходится сталкиваться лишь с одним рядом стоек. В этом случае разделение на горячие и холодные коридоры также имеет место быть. Однако коридор будет представлять собой проход не между рядами стоек, а проход между единственным рядом стоек и ограждающей конструкцией (стеной). Соответственно, с другой стороны ряда стоек возникнет второй проход. В зависимости от того, какая сторона стоек, фронтальная или тыльная, обращена в проход, формируется, соответственно, холодный или горячий коридор.

Оборудование для охлаждения небольших ЦОД

Небольшие ЦОД – это, пожалуй, единственный сегмент рынка ЦОД, где могут быть задействованы непрецизионные кондиционеры. Действительно, использование прецизионных кондиционеров на малых объектах зачастую оказывается нецелесообразным с финансовой точки зрения. Но даже если заказчик понимает преимущества прецизионников и готов увеличить бюджет, например, при модернизации старого серверного помещения, в ход идут второстепенные факторы – отсутствие места, инфраструктуры, мощностей, проёмов для заноса оборудования и т.д.

Тем не менее, в первую очередь для охлаждения ЦОД стоит рассматривать прецизионное климатическое оборудование. Это могут быть шкафные кондиционеры, внутрирядные (междустоечные) кондиционеры и подвесные прецизионные сплит-системы, схожие с классическими кассетными кондиционерами.

Применение именно прецизионных кондиционеров имеет ряд преимуществ. В первую очередь речь идет о более качественном охлаждении ЦОД, более точном поддержании температуры в ЦОД, надёжности. Кроме того прецизионные кондиционеры могут быть удобно зарезервированы, могуть быть оснащены двумя вводами электропитания, имеют значительно более широкие возможности с точки зрения наладки и мониторинга, предназначены для круглосуточной круглогодичной работы и имеют больший ресурс.

Если же использование прецизионные кондиционеров невозможно и бюджет ограничен, могут быть использованы полупромышленные кондиционеры, как правило, потолочного и настенного исполнений, реже – канального. Но их применение возможно только для очень маленьких серверных – в среднем, от одной до 10 ИТ-стоек. На более крупных объектах мощности полупромышленного климатического оборудования уже не хватает и единственным разумным решением остаются прецизионные кондиционеры.

Анализ использования шкафных прецизионных кондиционеров для охлаждения небольших ЦОД

Шкафные прецизионные кондиционеры оптимально подходят для охлаждения небольших ЦОД, при этом, в зависимости от геометрии объекта, следует рассмотреть вариант установки кондиционеров у стен, расположенных в конце ряда стоек и вдоль ряда стоек. Определённое значение будет иметь тот факт, есть ли в серверной фальшпол. Поясним это на примерах.

Пример ЦОД на 40 ИТ-стоек

Рассмотрим ЦОД на 40 стоек с фальшполом, расположенных в 4 рядах по 10 стоек (см. рисунок 1). Обратите внимание на то, что на схемах ЦОД ряды стоек обозначаются латинскими буквами А, B, C, …, а нумерация стоек внутри ряда выполняется арабскими цифрами 1, 2, 3, … . Таким образом, каждая стойка имеет свой уникальный номер типа А1, А2, B5, C7, D10, … .

Рисунок 1. Планировка ЦОД на 40 ИТ-стоек.

Расстановка кондиционеров у стен в конце ряда стоек

На рисунке 2 представлена планировка ЦОД с указанием мест размещения шкафных кондиционеров. Зелёными прямоугольниками К1, К2, К3, … здесь и далее будут обозначаться кондиционеры. Для удобства мы также указали, где находятся горячий и холодный коридоры. Штриховка коридора мелким квадратом означает наличие в коридоре напольных решёток (перфорированных плиток фальшпола). Рассмотрим особенности и недостатки предложенной схемы.

Рисунок 2. Пример размещения кондиционеров в ЦОД на 40 ИТ-стоек с фальшполом. Размещение кондиционеров выполнено вдоль стен в конце рядов стоек.

Места установки кондиционеров

Кондиционеры на схеме установлены напротив холодных коридоров. Подобный подход, строго говоря, не является ошибкой, но здесь имеет место быть важная рекомендация.

Часто в проектах кондиционирования ЦОД приходится видеть  кондиционеры, расположенные именно напротив холодных коридоров. Объяснение проектировщика в этом случае заключается в том, что кондиционер подает холодный воздух под фальшпол, и он тут же через напольные решетки выходит в основное помещение.

При этом упускается тот факт, что всасывание воздуха кондиционерами осуществляется из объёма помещения и если ближайшим к кондиционеру является холодный коридор, велика вероятность всасывания именно холодного воздуха. Всасывание горячего воздуха осуществляется по более длинной траектории и к тому же приводит к смешиванию холодного и горячего потоков воздуха.

Оба фактора – всасывание холодного воздуха и смешение потоков – негативно сказываются на эффективности охлаждения ЦОД.

Решением является устройство крыши (искусственного потолка) в холодных коридорах по верху ИТ-стоек. Кроме того, на входе в коридор могут быть установлены двери. Подобная технология называется изоляция холодного коридора. Зафиксированный внутри холодного коридора холодный воздух не смешивается с горячим воздухом, и система охлаждения будет работать достаточно эффективно.

С таким решением приходилось сталкиваться на практике, даже когда в серверной нет фальшпола, а, соответственно, у холодного коридора нет дверей. В этом случае кондиционеры должны иметь нижний выдув воздуха вдоль пола, воздух подаётся непосредственно в холодный коридор. Потоки горячего воздуха из горячих коридоров поднимаются наверх и поступают на вход кондиционеру. Искусственный потолок холодный коридоров защищает холодный и горячий потоки от смешивания.

Итого, расстановка кондиционеров на рисунке 2 будет эффективной как при наличии фальшпола, так и без него только при изоляции холодного коридора. Однако в общем случае кондиционеры рекомендуется размещать напротив горячих коридоров.

Анализ аварийных ситуаций

Как известно, ключевой характеристикой любого ЦОД является его отказоустойчивость, то есть работа при отказе одной или нескольких единиц того или иного оборудования.

Представим ситуацию, что кондиционер К3 вышел из строя. В этом случае кондиционеры К1, К2 и К4 будут работать с увеличенной мощностью. Безусловно, мощность каждого из кондиционеров на стадии проектирования была рассчитана с запасом, а потому после выхода из строя кондиционера К1 холодильной мощности оставшихся трёх кондиционеров хватит для отвода тепла от ИТ-стоек. Но будет ли этот отвод тепла эффективен?

Очевидно, при поломке кондиционера К3 левый нижний угол помещения на планировке, представленной на рисунке 2, вероятнее всего будет подвержен перегреву, поскольку в том углу ожидается недостаток холодного воздуха.

Резюме анализа аварийных ситуаций следующее. Для рассматриваемой планировки рекомендуется добавить ещё один кондиционер в середине помещения. Таким образом, в серверной в общей сложности будет работать 5 кондиционеров. Холодильная мощность каждого из кондиционеров будет меньше, чем изначальном варианте с 4 кондиционерами, но суммарная мощность нынешних 4 кондиционеров должна быть равна суммарной мощности 3 кондиционеров в изначальном варианте. Использование 5 кондиционеров обеспечит более распределение воздушных потоков, а риск образования зон перегрева при выходе из строя какого-либо из кондиционеров заметно снизится.

Подобный анализ аварийных ситуаций следует производить в каждом проекте ЦОД, представляя попеременную аварию каждого из кондиционеров и выявляя риск образования зон перегрева. В данном случае мы имеем весьма простую планировку, когда все 4 кондиционера работают в равных условиях. На практике же неправильная форма помещения, наличие колонн, закоулков, особенности организации подфальшпольного пространства и прочие факторы осложняют анализ аварийных ситуаций, но тем самым делают его ещё более важным.

Расстояние от кондиционера до ИТ-стоек

В целях экономии свободного места в планировке на рисунке 2 принято минимальное расстояние от кондиционера до ближайшей ИТ-стойки. По сути, речь идет о минимальной ширине прохода в серверном помещении, которое равняется 800 миллиметрам. Оценка «на глаз» говорит о том, что принятое расстояние от кондиционера до стойки примерно соответствует ширине стойки или же глубине кондиционера. Достаточно ли его?

Как показывает практика, нет. Воздух нагнетается кондиционеров в подфальшпольное пространство, скорость воздуха на выходе из кондиционера весьма велика. Прежде чем кинетическая энергия воздуха превратится в потенциальную энергию избыточного давления воздуха под фальшполом, пройдет некоторое время. За это время воздух «пролетит» некоторое расстояние под фальшполом и, как показывает реальный опыт на объектах, холодный воздуха пройдёт мимо первой, а иногда и мимо второй стоек.

Измерения скоростей и температур воздуха на практике дают следующую картинку. При близком расположении кондиционера и стойки скорость воздуха под фальшполов возле первой стойки настолько велика, что он просто не попадает в первую фальшпольную решетку.

Казалось бы, через ближайшую решетку должен проходить наибольший расход воздуха. На самом деле при планировке, приведенной на рисунке 2, кондиционеры К1 и К3 нагоняют холодный воздуха навстречу друг другу и максимальный выход холодного воздуха будет настыке этих встречных потоков, то есть в районе стоек А5, В5, А6 и В6. Вторыми по обеспеченности холодным воздухом окажутся стойки А4, В4, А7 и В7. Стойки же А1, В1, А10 и В10 останутся совсем без холодного воздуха. Более того, возможен даже подсос воздуха из холодного коридора в пространство фальшпола через решетки возле стоек А1, В1, А10 и В10, что только ухудшит ситуацию в ЦОД.

Итак, расстояние от кондиционера до первой стойки должно быть достаточным для стабилизации потока воздуха под фальшполом. Согласно рекомендациям это расстояние должно быть не менее 1200 миллиметров, что соответствует двум плиткам фальшпола. «На глаз» это расстояние на планировке должно быть заметно больше, чем ширина стойки или глубина кондиционера.

Таким образом, на планировке, представленной на рисунке 2, следует увеличить расстояние между кондиционерами и стойками.

Итоговые рекомендации по расстановке шкафных кондиционеров в помещении ЦОД

В ходе проведенного анализа планировки ЦОД на 40 ИТ-стоек нами были выделены следующие рекомендации:

1. Если выбрана схема установки кондиционеров в конце рядов ИТ-стоек, то располагать кондиционеры следует напротив горячих, а не напротив холодных коридов.

2. При расстановке кондиционеров следует проводить анализ распределения потоков воздуха и образования зон перегрева при поочередном выходе из строя каждого из кондиционеров. Для рассматриваемого примера добавить кондиционер К5 в середине помещения (между кондиционерами К1 и К2 или К3 и К4).

3. Расстояние от кондиционера до ближайшей телекоммуникационной стойки должно быть не мене 1200 миллиметров (две свободные плитки фальшпола).

Актуализированная планировка, соответствующая предложенным рекомендациям, приведена на рисунке 3. Данная планировка сочетает в себе эффективное охлаждение всех серверных стоек как при работе всех кондиционеров, так и при выходе из строя какого-либо из них. Кроме того, в актуализированной планировке существенно снижен риск образования зон перегрева.

Рисунок 3. Пример размещения кондиционеров в ЦОД на 40 ИТ-стоек с фальшполом. Размещение кондиционеров выполнено вдоль стен в конце рядов стоек. Актуализированная версия.

Расстановка кондиционеров у стен вдоль ряда стоек

Кондиционеры в ЦОД могут быть размещены и у стен, расположенных вдоль ряда стоек (см. рисунок 4). Рассмотрим особенности предложенной планировки.

Рисунок 4. Пример размещения кондиционеров в ЦОД на 40 ИТ-стоек с фальшполом. Размещение кондиционеров выполнено у стен вдоль рядов стоек.

Первое, на что следует обратить внимание, в серверных с несколькими рядами стоек расстановка кондиционеров у стен вдоль рядов стоек возможна только при наличии фальшпола, а размещение стоек должно быть таким, чтобы кондиционеры находились в горячих коридорах. Это позволит автоматически выполнить требование минимального расстояния от кондиционера до ближайшей напольной решетки. В нашем случае оно равно ширине прохода между кондиционером и стойками плюс глубине стойки, что составляет, как правило, около 2 метров при требовании не менее 1,2 метров.

Оговорка «в серверных с несколькими рядами стоек» сделана неспроста. Если в серверной всего один ряд стоек, то наличие фальшпола не обязательно. Кондиционеры с нижним фронтальным выдувом следует устанавливать в холодном коридоре – холодный воздух будет подаваться непосредственно в стойки (см. рисунок 5).

Рисунок 5. Пример размещения кондиционеров с нижним фронтальным выдувом в ЦОД без фальшпола с одним рядом стоек.

Но вернемся к планировке на рисунке 4. Для более равномерного распределения холодного воздуха в случае аварии одного из кондиционеров мы сразу предусмотрели 5 кондиционеров. А вопрос циркуляции воздуха стоит рассмотреть подробнее. Очевидно, что возврат воздуха в кондиционеры из среднего горячего коридора вызывает сомнения, поскольку ему потребуется пройти над холодным коридором.

Если поток стойки будут потреблять не весь холодный воздух из холодного коридора, то излишек холодного воздуха будет блокировать поток горячего воздуха. Если же в холодном коридоре будет недостаток холодного воздуха, то стойки будут засасывать проходящие сверху обратные потоки горячего воздуха. Образование столь коротких контуров циркуляции повлечёт возникновение точек перегрева в верхних частях ИТ-стоек.

Решение проблемы заключается в изоляции холодных коридоров через устройство искусственного потолка на уровне верха ИТ-стоек. К такому решению мы уже прибегали ранее, когда обсуждали рисунок 2. Следует помнить, что смешение холодного и горячих потоков воздуха  в ЦОД – главный враг системы кондиционирования. Наиболее эффективным решением проблемы смешения потоков является изоляция холодного или горячего (а иногда и обоих одновременно) коридоров.

Расстановка внутрирядных кондиционеров

Расстановка внутрирядных кондиционеров представлена на рисунке 6.

Рисунок 6. Пример размещения внутрирядных кондиционеров в ЦОД.

Внутрирядные кондиционеры устанавливаются в ряду стоек и одной стороной выходят в холодный коридор, другой стороной – в горячий коридор. Это позволяет им засасывать горячий воздух непосредственно из горячего коридора и нагнетать холодный воздух непосредственно в холодный коридор.

Если в случае использования шкафных кондиционеров длина воздушного контура была сопоставима с габаритами помещения, то при использовании внутрирядных кондиционеров длина воздушного контура сопоставима с габаритами стойки, то есть на порядок меньше. Значительное снижение длины воздушного контура снижает требуемую мощность вентилятора и делает внутрирядные системы кондиционирования наиболее эффективными.

С точки зрения расстановки внутрирядных кондиционеров следует обратить внимание на то, чтобы они были расставлены равномерно внутри ряда и, по возможности, не находились друг напротив друга. Кроме того, следует проводить анализ аварийных ситуаций – чтобы при поломке одного кондиционера другие кондиционеры смогли доставить воздух до обездоленных стоек. Наиболее уязвимой при этом является поломка крайних кондиционеров в каждом из рядов стоек.

Внутрирядные кондиционеры способны поставлять холодный воздух только в один холодный коридор. Таким образом, внутрирядные кондиционеры, поставляющие воздух в один и тот же холодный коридор работают в связке и могут взаимозаменить друг друга, но не могут заменить кондиционеры из другого холодного коридора. Следовательно, резервный кондиционер должен быть установлен в каждой паре рядов стоек, имеющих общий холодный коридор.

Использование настенных, потолочных и канальных кондиционеров в серверных

Наиболее простой и бюджетный вариант охлаждения серверных, который до сих пор применяется на многих объектах, – это использование полупромышленных сплит-систем с внутренними блоками настенного, потолочного и канального типов. Такие решения редко находят применение в серверных с несколькими рядами стоек из-за сложно прогнозируемых воздушных потоков, но могут хорошо проявить себя в серверных с одним-двумя рядами стоек.

Настенные блоки монтируются в холодном коридоре и подают воздух непосредственно на вход стойкам (см. рисунок 7). Канальные и потолочные кондиционеры монтируются над стойками так, чтобы воздухозабор происходил из горячего коридора, а подача воздуха – в холодный коридор (см. рисунок 8). При этом канальные кондиционеры могут быть скрыты за фальшпотолком, видимыми останутся только решетки. Однако из-за высоких аэродинамических потерь в воздуховодах и решетках такая схема не является эффективной.

Рисунок 7. Пример размещения настенных кондиционеров в ЦОД.

Рисунок 8. Схема размещения потолочных и канальных кондиционеров в ЦОД (разрез помещения).

Заключение

Небольшие серверные до 50 стоек являются наиболее ёмким сегментом рынка ЦОД и являются самым распространённым типом объектов. Ввиду большого количества объектов велико и их разнообразие с точки зрения геометрии помещения, мощности стоек, наличие или отсутствия фальшпола и прочих факторов. В зависимости от конфигурации выбирается та или иная система охлаждения ЦОД.

В небольших ЦОД наиболее часто встречаются системы кондиционирования на базе шкафных и внутрирядных прецизионных кондиционеров, в серверных до 10 стоек также могут быть применены полупромышленные сплит-системы с внутренними блоками настенного, канального и потолочного типов.