Самый простой способ достижения максимальной энергоэффективности на объекте – отказаться от его строительства. И бюджет будет цел, и энергия сохранится. Но такой вариант не устроит заказчика, ведь он задумал строительство ЦОД для решения конкретных задач, а этого не случится. Собирая вокруг себя самых разных специалистов, он желает услышать от них рациональные решения по устройству каждого узла дата-центра. Ниже мы поговорим о тех предложениях, которые мог бы выдвинуть грамотный инженер по климатическим системам ЦОД.

Стоит отметить, что энергосберегающие решения по системам кондиционирования имеют наивысшее значение среди аналогичных решений по прочим инженерным системам. Система кондиционирования – самая энергоёмкая среди всех инженерных систем, потребляет более 30% мощности объекта и имеет наибольший потенциал в плане повышения её экономичности. 

Применение современного оборудования 

На рынке систем вентиляции и кондиционирования не происходит революционных изменений каждый год, но существует накопительный эффект, и даёт о себе знать на дистанции. Прецизионные кондиционеры, выпущенные 10 и более лет назад, имеют заметно меньшую эффективность, нежели самые современные модели. Именно поэтому спустя 10-15 лет после запуска ЦОД следует задуматься о модернизации систем кондиционирования. 

К числу технологических новшеств, внедряемых в современную климатическую технику, следует выделить инверторные приводы компрессоров, электронные терморегулирующие вентили, усовершенствованные алгоритмы работы, выносные секции вентиляторов с оптимизированными аэродинамическими конструкциями и прочие инновации. Каждая из них несёт в себе 1-2% дополнительной экономии, а все вместе, накопленные за 10 лет, они позволят понизить энергопотребление системы на величину до 25%. 

Кстати, с позиции анализа капитальных и эксплуатационных затрат далеко не всегда выгодно закупать самые последние (топовые) модели кондиционеров. Технология их изготовления ещё не отработана, а потому их стоимость зачастую не оптимальна и завышена. Также могут возникнуть сложности с монтажом и сервисом ввиду отсутствия накопленного опыта. 

Такая ситуация сложилась на одном из объектов: оборудование привезли новое, самое современное, и первые два дня монтажники даже боялись его вытаскивать из коробки. Потом же, когда вытащили и поставили, выяснилось, что в комплекте нет соединительного дренажного шланга, узел сбора конденсата потребовал ещё некоторых доработок, а наладка их совместной работы в сети затянулась на неделю – просто потому что по сравнению с прошлогодними моделями появились изменения, а опыта ещё нет.

Ввиду вышесказанного некоторым преимуществом обладают прошлогодние модели. Бум в их честь уже поутих, стоимость оптимизирована, появился опыт монтажа и эксплуатации. Именно с такими кондиционерами и стоит иметь дело. Исключение составляют случаи маркетинговых акций на новейшее оборудование, продаваемое со скидкой с целью пиара и быстрого появления пилотных проектов. 

Разделение потоков и изоляция коридоров 

Главное правило проектирования систем охлаждения для центров обработки воздуха учит разделять потоки холодного (охлажденного кондиционерами) и горячего (всасываемого кондиционерами) потоков воздуха. 

Глобально такое разделение устраивается путём подачи холодного воздуха под фальшполом и сбором горячего воздуха в пространстве помещения или за фальшпотолком. В самом помещении эти потоки воздуха разделены рядами стоек – именно для этого и формируется рядная структура машинных залов ЦОД с чередованием холодных и горячих коридоров. 

В случае наличия высоконагруженных стоек (более 5 киловатт на стойку) рекомендуется применять изоляцию коридоров, в первую очередь горячих. Изоляция коридора подразумевает под собой устройство крыши по верху стоек в горячем коридоре и заглушек или дверей по торцам коридора (см. рисунок 1). 

Рисунок 1. Пример выполнения изоляции коридора в московском ЦОД 3data: по верху стоек над проходом смонтирована крыша.  

В течение ряда лет сообщество спорило, какой коридор выгоднее изолировать – холодный или горячий. Поначалу считалось, что нужно беречь холод, то есть изолировать холодный коридор. Но с течением времени температура воздуха в холодном коридоре подрастала: в целях экономии энергии стало возможным охлаждать воздух до 16°С, потом 18°С, сейчас – 20°С. Иными словами температура воздуха в холодном коридоре почти сравнялась с обычной комнатной температурой воздуха. 

Но это повлекло рост температуры воздуха в горячем коридоре. На сегодня она достигает 35°С. Таким образом, стало выгоднее изолировать горячие потоки воздуха, принимая, что условия холодного коридора фактически распространяются на всё помещение машинного зала. 

Следующий этап изоляции потоков – их изоляция на уровне стоек. Следует герметизировать щели между стойками, устанавливать заглушки в свободные юниты в стойках, устанавливать вертикальные заглушки для кабельных органайзеров при малом числе кабелей. 

Вопрос применения заглушек особенно актуален, когда внутри ряда попадает колонна. Сами по себе стойки предусматривают очень плотную установку друг к другу, а колонна может нарушить эту идиллию. Ширина стойки обычно  не совпадает с шириной колонны и расстановку первых придется подгадывать под раскладку вторых. Часто от стойки до колонны остаётся зазор, например 200 миллиметров, который следует чем-то закрыть, и об этом необходимо думать заранее, на этапе проектирования.

Ещё одна рекомендация – закрывать напольные решетки в ещё несмонтированных холодных коридорах. Такая ситуация возникает при поэтапном вводе ЦОД в эксплуатацию. Часть машинного зала уже запущена, а в другой его части или установлены пока ещё пустые стойки, или отсутствуют как стойки, так и оборудование. Но напольные решетки по будущие холодные ряды уже уложены. Очевидно, холодный воздух от кондиционеров устремится в том числе и в эти решетки, циркулируя вхолостую. Напольные решетки в местах несмонтированных рядов стоек рекомендуется закрывать полиэтиленом (см. рисунок 2) 

Рисунок 2. Напольные решётки в пока ещё не используемых холодных коридорах закрыты полиэтиленом. Это делается для того, чтобы холодный воздух поступал только в те ряды, где уже работает серверное оборудование.   

Несмотря на то, что рекомендациям по герметизации щелей и установке заглушек уже более десятка лет, они до сих пор актуальны и относятся к числу тех, которые можно применить «здесь и сейчас». Во множестве действующих ЦОД, особенно нулевых годов постройки данные правила по-прежнему не применены в полной мере. 

Поддержание перепада давлений 

В системах кондиционирования для ЦОД наглядно прослеживается тренд регулирования холодильной мощности системы в зависимости от фактической тепловой нагрузки объекта. Иными словами, в машинный зал в каждый момент времени нужно подавать ровно столько холода, сколько нужно для бесперебойной работы серверного оборудования. 

Как известно даже по опыту использования собственного ноутбука, встроенный в него вентилятор работает тем активнее, чем более загружен процессор. При этом, очевидно, он прокачивает больше воздуха. Перекладывая эту ситуацию на ЦОД получаем, что более нагруженное серверное оборудование быстрее перекачивает воздух из холодного коридора в горячий. В пиковые часы этого воздуха может не хватать, что приведёт к перегреву оборудования в стойках и неэффективной работе системы охлаждения. 

Ключ к решению проблемы кроется в поддержании постоянного перепада давления между холодным и горячим коридорами (в холодном коридоре давление должно быть несколько выше, чем в горячем). Для этого применяются специальные дифференциальные датчики. Производительность кондиционера, а иногда и распределение холодного воздуха по холодным коридорам следует проводить с учётом показаний этих датчиков в разных коридорах. 

Такое решение позволяет избежать перегрева серверного оборудования, продлить срок его службы и, что важно для нас, климатехников, построить наиболее эффективную систему холодоснабжения. 

Кстати, для идентификации перепада давления не обязательно использовать дифференциальный манометр. Если в стенке между холодным и горячим коридором сделать небольшое отверстие, можно обойтись датчиком контроля направления движения воздуха. Очевидно, что воздух будет двигаться из зоны более высокого давления в зону более низкого давления. Наша задача – обеспечить поток через отверстие из холодного в горячий коридор. Важно лишь, чтобы отверстие находилось в спокойном (без сильных завихрений) месте. 

Расстановка стоек 

Расстановкой и взаимоувязкой серверных стоек занимаются в первую очередь системные архитекторы, но это тот самый вопрос, где взгляд специалиста по охлаждению очень полезен. В конце концом, именно ему их потом охлаждать.

Типичные ошибки при проектировании стоек сводятся к их неравномерной тепловой нагрузке и неудобному расположению высоконагруженных стоек в зале.

Например, при средней мощности стойки 5 киловатт не следует подряд ставить несколько стоек мощностью 10 киловатт, снизив мощность остальных до 3 киловатт. В идеале нужно стремиться к равномерной мощности всех стоек, а при невозможности – распределять высоконагруженные стойки равномерно в машинном зале, не образуя заведомо проблемных горячих точек.

Ещё один путь – умышленное разделение всех стоек на 2-3 группы в зависимости от мощности (например, не более 7 киловатт, от 8 до 15 киловатт, более 16 киловатт). Далее для каждой группы следует предусмотреть свои решения по отводу тепла – герметизировать холодные и горячие коридоры, применять внутрирядные кондиционеры, выбирать количество резервных установок, рассматривать прочие решения.

Повышение температуры холодоносителя 

Энергоэффективность парокомпрессионного холодильного цикла тем выше, чем выше температура испарения, и этим активно пользуются в сфере ЦОД. Фактически, речь идёт о том, что один и тот же чиллер генерирует гораздо больше холода при температурном графике 10/15°С, нежели при 7/12°С. 

Но за последние годы температурный график холодоносителя в системах охлаждения вырос ещё сильнее – до 15/20°С, а иногда и до 18/21°С. Отчасти это стало возможным благодаря появлению более жаростойкого серверного оборудования, отчасти – за счёт грамотного управления потоками воздуха в ЦОД. 

Помимо менее затратной выработки холода повышение температуры холодоносителя способствует увеличению часов работы режима свободного охлаждения. Действительно, получить холодоноситель с температурой +7°С необходима уличная температура порядка +2..+3°. А холодоноситель с температурой +18°С можно получить при уличной температуре до +14°С. В итоге в Москве, например, в первом случае режим свободного охлаждения работал бы 45% времени в году, а во втором – уже 73% времени. Разница составляет 28%, то есть борьба идёт за целый квартал «дешёвого» холода в году. 

Концепция повышения температуры холодоносителя, кстати, дополнительно подтверждает вышеприведённые рассуждения о том, какой коридор изолировать. Высокая температура холодоносителя обеспечивает температуру в холодном коридоре, схожую с типичной комнатной температурой. Температура в горячем коридоре при этом достигает некомфортных для человека значений, а потому горячие потоки воздуха следует изолировать от остального объёма помещения.

Вполне вероятно, близок тот час, когда потоки воздуха из горячего коридора будут не просто отделять коробом, но и теплоизолировать сам короб. Не для того, чтобы не обжечься, а для того, чтобы короб не нагревал помещение машинного зала. 

Кроме того, обсуждается вариант переменной температуры холодоносителя, устанавливаемой системой в зависимости от тепловой нагрузки ЦОД и наружной температуры. При высокой тепловой нагрузке может быть увеличена разность между холодным и горячим потоком, а при низкой – увеличены обе эти цифры одновременно.

Двойной ввод электропитания 

Применение кондиционеров с двумя вводами электропитания позволяет повысить надежность системы и сэкономить на резервных единицах. Дело в том, что проблемы с электричеством возникают на объекте чаще, чем ломаются кондиционеры. Второй ввод питания позволяет запитать данное оборудование от второй линии электроснабжения или от резервного источника электроэнергии, например, дизельной электростанции. 

В случае, если для защиты от перебоев в электроснабжении на объекте предполагалось установить дополнительные кондиционеры ,запитанные от другого источника энергии, или установить дублирующие охладители иного типа, более дешевым окажется вариант применения кондиционеров с двумя вводами. Такая практичность не только сэкономит бюджет проекта при сохранении уровня надежности, но и освободит полезное пространство в ЦОД. 

Один для всех 

Ещё один способ повышения энергоэффективности среднего и крупного ЦОД и оптимизации затрат на его строительство, который вправе предложить специалист по системам охлаждения, заключается в применении одной и той же резервной единицы оборудования для нескольких машинных залов. 

Классика жанра гласит: для каждого машинного зала должны быть предусмотрены резервные кондиционеры. Если речь идёт о водяной системе, то требуется наличие резервных чиллеров. Но вместо закупки множества резервных чиллеров можно купить один-два и обеспечить возможность поступления холодоносителя от них во все машинные залы. 

Например, ЦОД мощностью 2 мегаватта поделён на 5 машинных залов по 400 киловатт каждый. Предусматривать для каждого такого зала по 2 чиллера (рабочий и резервный) мощностью 400 киловатт означает закупить 10 чиллеров общей мощностью 4 мегаватта – ровно в два раза больше мощности всего объекта. 

Предусматривать для каждого машинного зала по 3 чиллера (2 рабочих и один резервный) мощностью 200 киловатт означает ограничиться общей мощностью холодильного оборудования, равной 3 мегаватта, но количество чиллеров вырастет аж до 15. С учетом сервисных зон вокруг чиллеров, обвязки и автоматики – картина нерадостная. 

В более оптимальном варианте можно закупить всего 7 чиллеров по 400 киловатт – 5 рабочих, по одному на каждый машинный зал, и два резервных, способных охладить любой из залов, в котором обнаружилась проблема. Общая холодильная мощность закупленного оборудования (2,8 мегаватта) и количество чиллеров (7 штук) смотрятся гораздо выгоднее, чем в предыдущих двух вариантах. 

Применение фрикулинга 

Кардинальное решение проблемы повышения энергоэффективности заключается в отказе от традиционных систем кондиционирования в пользу решений на базе технологий свободного охлаждения. Практически все крупные ЦОД, построенные в последние лет 5, используют данную технологию в полной мере. 

В рамках рубрики «Кондиционирование ЦОД» мы писали не только о фрикулинге как таковом (см. статью «Режим свободного охлаждения в центрах обработки данных», Мир Климата, №110), но и о примерах его применения на реальных объектах (см. статью «Удивительные, но настоящие: энергоэффективные системы охлаждения действующих и проектируемых ЦОД в России и за рубежом», Мир Климата, №111). 

Сейчас мы остановимся на том, как можно повысить энергоэффективность режима свободного охлаждения. Очевидно, здесь применимы многие вышеуказанные советы – строгое разделение горячего и холодного коридоров, максимальная изоляция горячего и холодного потоков воздуха, применение наиболее современных и экономичных вентиляторов. 

Хорошим решением для свободноохлаждаемого ЦОД является применение адиабатики: распыления воды в потоке воздуха. Это позволяет понизить его температуру на 3-6°С и, соответственно, существенно увеличить время работы в режиме 100%-го фрикулинга. 

Для любого решения на фрикулинг предусматриваются традиционные фреоновые кондиционеры – на случай особой жары. Безусловно, в такие периоды речи об экономии нет – главное, чтобы ЦОД работал без сбоев. Тем не менее, стоит помнить, что фреоновые кондиционеры сильно увеличивают среднегодовой PUE (коэффициент использования энергии в ЦОД). Напомним, что PUE для ЦОД на фреоновых кондиционерах составляет 1,3-1,4, PUE дата-центра на фрикулинге – 1,05-1,2, PUE идеального ЦОД равен 1. 

Для того чтобы дополнительно продлить период работы системы свободного охлаждения на объектах устраивают аккумуляторы холода – ёмкости заранее захоложенного холодоносителя. Кстати, в описаниях некоторых зарубежных проектов приходилось читать даже о ёмкостях замороженного холодоносителя – ёмкостях со льдом. С учётом теплоты фазового перехода такой подход позволяет обеспечить значительные запасы холодильной энергии. 

Такие ёмкости могут пригодиться не только в жаркие дни, но и в периоды с высокой относительной влажностью, особенно если речь идёт о фрикулинге с адиабатикой. Длительность работы режима фрикулинга заметно снижается при повышенной влажности на улице, а осушение воздуха – задача с энергетической точки зрения не дешёвая. Как правило, в часы повышенной влажности выгоднее использовать холод, накопленный в баках во время более сухой погоды. 

Эффект синергии 

Ряд из перечисленных выше методик может быть успешно применен единовременно, и это позволит добиться ещё больших успехов, чем применяя каждый метод по отдельности.

Например, повышение температуры холодоносителя и изоляция холодного и горячего потоков воздуха творит в буквальном смысле чудеса. Ликвидация каждой неплотности, установка заглушки в каждую щель позволяет не только повысить эффективность действующей системы, но и повысить температуру холодоносителя. Каждый градус такого повышения в пересчёте на год обеспечивает около 240 часов работы системы в режиме фрикулинга, а это дополнительные 10 дней «дешёвого охлаждения».

Анализ перепада давления между холодным и горячим коридором позволит работать системе охлаждения в режиме согласно реальной тепловой нагрузке, а, значит, температура холодоносителя может быть ещё немного повышена. 

Такие оптимизирующие шаги накладываются один на другой и приводят к эффекту синергии: совместное действие двух и более факторов существенно превосходит простую сумму действий каждого из них. На проверку выясняется, что снизить энергопотребление системы охлаждения на 10-15% не составляет труда. Важно, чтобы специалист знал, что делает, и отслеживал все изменения и взаимосвязи в системе. 

Подводя итоги 

К настоящему моменту придумано и опробовано немало способов построения энергоэффективной системы охлаждения ЦОД любого размера. Солидный, но не исчерпывающий перечень модификаций и решений мы привели в данной статье. 

Не следует применять их сразу все, но стоит присмотреться к каждому из них в отдельности. Постепенное поочередное их внедрение при сохранении бдительности и регистрации изменений позволит заметно повысить эффективность действующих дата-центров. 

Решение о применении энергосберегающих технологий в новом строительстве принимается исключительно на основании технико-экономического расчёта. Практика показывает, что в большинстве случаев энергосберегающие решения оправданы, но только в том, случае, если будущая служба эксплуатации будет знать о задумке проектировщиков. А это уже вопрос организации процесса строительства и документооборота между различными службами проектной, подрядной и эксплуатирующей организаций.