2018 и 2019 годы выдались весьма продуктивными в плане развития систем охлаждения ЦОД и борьбы за PUE – коэффициент использования электроэнергии. В рамках данной статьи собраны основные решения и достижения, появившиеся за этот период времени.

Напомним, что под PUE в отрасли ЦОД (центров обработки данных) понимают Power Usage Efficiency – коэффициент эффективности использования электроэнергии. Он рассчитывается как отношение полной мощности ЦОД к мощности ИТ-оборудования и всегда больше единицы.

Основная борьба за эффективность ЦОД, по сути, сводится к борьбе за низкий PUE. В идеальном дата-центре, на поддержание работоспособности ИТ-оборудования в котором не будет затрачиваться энергия, коэффициент PUE будет равен 1. На практике это не достижимо, и PUE реальных ЦОД, работающих на чиллерной системе охлаждения достигает 1,5, на фреоновой системе – 1,3-1,4. Фрикулинг позволяет снизить PUE, как мы увидим далее, вплоть до 1,03.

Эффективные ЦОД для майнинга криптовалют

Майнинг криптовалют – это новая, перспективная и специфичная область, для которой требуются значительные вычислительные ресурсы и, как следствие, дата-центры. Причём в этой нише, в отличие от многих других, энергоэффективность дата-центра стоит на первом месте, обгоняя даже такой параметр, как надёжность. 

Майнинг – это работа по созданию криптовалют. Работа в чистом виде вычислительная: появление криптовалюты является следствием выполнения тех или иных компьютерных операций. Как показала практика, с подобными операциями лучше всего справляются не обычные процессоры, а видеопроцессоры, встраиваемые в видеокарты. Таким образом, майнинг-центры –это центры обработки данных с типовым ИТ-оборудованием – фермами, собранными на базе видеопроцессоров. 

Майнинг представляет собой вид распределенных вычислений, поэтому ошибка или остановка одного из процессоров или даже целой фермы не способна повредить майнингу как таковому. Безусловно, она приводит к некоторому снижению прибыли конкретного майнинг-центра, однако баланс между надёжностью и энергоэффективностью ЦОД в данном случае существенно смещён в пользу энергоэффективности. 

Так, в обычном ЦОД в первую очередь идёт борьба за отказоустойчивость площадки и за её уровень надёжности Tier. Простой в течение всего 0,02% времени в году уже является критичным. В случае майнинг-центров длительность простоев может быть больше в 200 раз и достигать 4-5% времени в году. В такой ситуации в первую очередь важно снизить эксплуатационные затраты, так как именно они вносят основной вклад в себестоимость вычислительных операций. Строить сверхнадёжную инженерную инфраструктуру просто бессмысленно, и на помощь приходят жаростойкие серверы, способные работать при высоких температурах окружающей среды, и решения по свободному охлаждению ЦОД.

Энергоэффективные системы охлаждения майнинг-центров базируются на фрикулинге: прямом или косвенном с адиабатикой, причем предпочтение чаще прямому фрикулингу с адиабатикой (более подробно о различных видах фрикулинга и их особенностях читайте в статье «Режим свободного охлаждения в центрах обработки данных», журнал «Мир Климата», №110, 2018 год). 

Суть прямого фрикулинга с адиабатикой заключается в подаче в холодный коридор ЦОД наружного воздуха. В жаркие дни этот воздух увлажняется и охлаждается в адиабатическом увлажнителе. В обычных ЦОД такое решение встречается крайне редко: наличие чересчур влажного воздуха грозит выпадением конденсата и короткими замыканиями в машинном зале ЦОД. Но для майнинг-центров большого снижения температуры не требуется, а, значит, не требуется и сильного увлажнения.

В данном случае на помощь приходит сама природа: как правило, в жаркие дни влажность воздуха относительно низка и редко превышает 50% (обычно составляет 25-40%). Увлажнение такого воздуха до 60-65% позволяет получить воздух с температурой +30…+33°С – именно такую температуру следует поддерживать в холодных коридорах майнинг-центров. Безусловно, исходя из этой температуры должно быть подобрано и вычислительное оборудование ЦОД. 

В зимнее время года возникает опасность переохлаждения ЦОД, поэтому в наружный воздух подмешивают воздух из горячего коридора. Чем ниже температура на улице, тем выше доля рециркуляции. В морозные дни объём рециркуляции, как правило, в несколько раз превосходит объём воздуха, забираемого с улицы. Среднегодовой PUE таких ЦОД составляет 1,03-1,04 единицы. 

Однако одной особенностью систем охлаждения на базе прямого фрикулинга пренебрегать не стоит. Речь идёт о фильтрации наружного воздуха. Серверное оборудование может работать при высоких температурах, но не в загрязненной среде. Для очистки воздуха в приточный воздуховод в обязательном порядке встраивается секция фильтрации класса G4. Для повышенной защиты от пыли может применяться двухступенчатая очистка воздуха, состоящая из фильтров классов G3 и F5.

Отметим и ещё один нюанс – поддержание влажности в ЦОД в зимнее время. Холодный воздух характеризуется хоть и высокой относительной влажностью, но низким абсолютным влагосодержанием. Как результат, после смешения с рециркуляционным потоком влажность смеси будет невысока и колебаться в диапазоне от 20% до 40% в зависимости от наружной температуры. 

В такой ситуации рекомендуется применять дополнительное увлажнение, но не рекомендуется применять классические пароувлажнители ввиду их высокой энергоёмкости. Тут следует вспомнить, что даже зимой в ЦОД наблюдается избыток тепла. Это означает, что в холодное время года для увлажнения воздуха можно применять те же адиабатические увлажнители, которые применяются летом для увлажнения наружного воздуха. При этом подаваемый увлажненный воздух не потребуется догревать, как это бывает в центральных кондиционерах в общественных зданиях – достаточно увеличить объём рециркуляции, и рециркуляционное тепло покроет затраты тепла на испарение воды. 

К слову, все описанные решения могут применяться не только в майнинг-центрах, но и в других современных ЦОД, работающих в области мобильной связи, интернета вещей, ряда облачных технологий. Так или иначе, начиная с некоторого этапа, специалисты отрасли ЦОД стали понимать, что проще резервировать сами центры обработки данных вместе с ИТ-оборудованием и данными, а не инженерные системы в них. Таким образом, со временем число объектов с менее надёжными, но обеспечивающими некоторый достаточный уровень отказоустойчивости системами охлаждения будет расти, а PUE каждой из площадок – снижаться.

Снижение PUE за счёт искусственного интеллекта

Потенциал применения технологий искусственного интеллекта в отрасли ЦОД в целом и в области систем кондиционирования и свободного охлаждения по истине велик. Дело в том, что энергопотребление и, как следствие, эффективность систем охлаждения в значительной степени зависит от внутренних и внешних условий. Эти условия постоянно меняются, а непрерывно адаптировать под них систему в ручном режиме не представляется возможным. Обычно выбирается некий осредненный вариант, когда, как говорится, всё работает, и слава богу.

Тем временем концепция Big Data (дословно «большие данные», что подразумевает накопление обширной статистики и её анализ) и искусственный интеллект набирают обороты. Построенные на их основе алгоритмы сначала накапливают информацию, а потом вносят корректировки в работу оборудования, опираясь на полученную историю. Постоянная мгновенная подстройка каждого из элементов системы кондиционирования позволяет в буквальном смысле творить чудеса.

По данным компании Google, одного из лидеров в сфере внедрения технологий искусственного интеллекта в различные отрасли информационных технологий и промышленности, среднегодовое снижение энергопотребления систем охлаждения её собственных ЦОД за счёт данных технологий достигает 35%. Более полное исследование гласит, что в зависимости от региона строительства ЦОД, внутренних и наружных параметров воздуха и вида системы охлаждения экономия энергии составит от 25% до 40%. 

Статистике Google можно доверять, но трудно проверить – свои алгоритмы компания не раскрывает, и коммерческие услуги в этой нише не оказывает. В свою очередь компании Siemens, Huawei, AdeptDC, Carbon Relay и другие разработали коммерческие решения по оптимизации систем охлаждения в ЦОД.

Программные модули Optimize и Predict от компании Carbon Relay, например, сначала собирают массив данных, а потом принимают на его основе сотни корректирующих воздействий. Модуль Optimize на основе собранных данных создаёт компьютерную модель дата-центра, анализирует статистику изменения показателей и вырабатывает оптимальную модель управления объектом. Модуль Predict занимается расчётами с прицелом на перспективу: накапливает дополнительный холод до наступления жары, планирует переключение между различными режимами работы холодильного оборудования и других инженерных систем ЦОД. 

Алгоритм практически всех подобных систем идентичен: они собирают многочисленные данные о работе центра обработки данных и вырабатывают рекомендации. Данные рекомендации направлены на снижение энергопотребление, локализацию и устранение горячих точек, отключение лишнего оборудования. 

На последнем пункте – отключении лишнего оборудования – следует остановиться подробнее. Дело в том, что резервирование оборудования в ЦОД хоть и направлено на повышение отказоустойчивости объекта, но нередко приводит к избыточному резервированию систем. Это происходит по нескольким причинам: боязнь проектировщиков недозаложить оборудование и не обеспечить нужный уровень надёжности, медленное заполнение ЦОД, сказываются и другие факторы. В итоге фактический резерв оборудования существенно превышает требуемый, а фактический PUE повышается. Технологии искусственного интеллекта позволяют нивелировать эти проблемы, повысить энергоэффективность объекта при сохранении уровня надёжности и понизить PUE. 

Низкий PUE за счёт природы

В последние годы всё чаще приходится слышать о системах охлаждения, использующих другой вид теплоотвода, нежели в окружающий воздух. К настоящему моменту в мире функционирует целый ряд объектов, для охлаждения которых используется море, подземные воды или горы. 

Вот уже несколько лет работает подземный ЦОД компании Green Mountain, размещенный в бывшем складе боеприпасов НАТО. Он охлаждается за счёт воды близлежащего фьорда, температура которой практически весь год составляет +8°С. Среднегодовой PUE объекта равен 1,18.

Один из новых объектов – ЦОД WindCores в Германии. Он устроен внутри ветряной электростанции. Мачта ветряной турбины имеет внушительные размеры: диаметр у основания составляет 13 метров при высоте порядка 150 метров. Внутри неё и устроен машинный зал ЦОД. Так как мачта имеет круглую форму в сечении, то и форма машинного зала круглая (см. рисунок 1). 92% энергии ЦОД получает от ветра и лишь 8% берёт из города – тот случай, когда можно говорить о PUE ниже единицы, если принять, что электростанция является неотъемлемой частью объекта. 

Рисунок1. Помещения ЦОД WindCores внутри ветряной электростанции.

Из новых разработок – решение компании Ocean Energy, которая предлагает не только охлаждать ЦОД за счёт морской воды, но и получать электроэнергию из океана. Суть решения заключается в преобразовании кинетической энергии волн в электрическую энергию. Если в воду вертикально опустить трубу, то уровень воды в трубе под воздействием волн будет постоянно изменяться. Полученное вертикальное возвратно-поступательное движение посредством сжатого воздуха передаётся на турбины, где и генерируется электроэнергия.

Тем временем компания Microsoft продолжает работы в рамках проекта по созданию подводного дата-центра Project Natick. Суть его заключается в построении подводного ЦОД. На первом этапе проекта специалисты компании провели погружение и проверку работоспособности одной ИТ-стойки. В начале июня 2018 года в Северное море на глубину 36 метров был погружен 12-метровый контейнер с 12 стойками (см. рисунок 2), полностью наполненных серверным оборудованием. 

При полной нагрузке тепловыделения ИТ-оборудования достигают 240 киловатт и отводятся за счёт морской воды. Для этого  в каждой стойке предусмотрены специальные теплообменники. По трубам морская вода направляется в них и охлаждает воздух, который в свою очередь охлаждает вычислительное оборудование. По данным компании, коэффициент PUE составил 1,07. 

«В Microsoft мы потратили огромное количество энергии, времени и, очевидно, денег на облачные вычисления, — отмечает Катлер, отвечая на вопрос о том, как родилась идея создания подводных ЦОД. — Поэтому мы всегда ищем новые способы, которые мы можем развивать. Эту идею сначала подкинул один из наших сотрудников, которые работал на подводной лодке военно-морского флота США. Он что-то знал об этой технологии и о том, что ее можно применить к дата-центрам».

Рис. 2. Погружение ЦОД Microsoft в Северное море

Системы охлаждения от Facebook и Stulz

Компания Facebook разработала собственную систему косвенного фрикулинга ЦОД SPLC (StatePoint Liquid Cooling). Новое решение отличается повышенной эффективностью как в плане использования электроэнергии, так и в плане использования воды. Схема системы представлена на рисунке 3. Высокая эффективность достигается за счёт сочетания режима свободного охлаждения с испарительным и фреоновым видами охлаждения. 

Концепция обычного косвенного фрикулинга с адиабатикой заключается в испарительном охлаждении наружного воздуха за счёт воды и последующего охлаждения внутреннего воздуха с его помощью. Инженеры Facebook модифицировали эту схему следующим образом.  В блоке SPTU (StatePoint Technology Unit) системы SPLC производится охлаждение воды за счёт наружного воздуха. Далее эта вода поступает в фанкойлы, расположенные в машинном зале ЦОД, и охлаждает внутренний воздух в помещении. 

Важным отличием блока SPTU от обычного драйкулера являет наличие мембранного теплообменника. Вода подаётся в теплообменник и увлажняет воздух, параллельно охлаждая его. Одновременно с этим охлаждается и сама вода. Если в традиционном косвенном фрикулинге для охлаждения ЦОД используется охлажденный воздух, то в системе SPLC ценность представляет охлажденная вода – именно она направляется в машинные залы ЦОД для охлаждения внутреннего воздуха. Блок SPTU, фактически, выполняет функцию мокрой градирни (боле подробно про мокрые градирни читайте статью «Мокрые градирни: принцип работы, сфера применения, преимущества и недостатки» на портале Mir-klimata.info по ссылке https://mir-klimata.info/learn/2691/). 

На случай жарких дней в блоке SPTU перед мембранным теплообменником предусмотрен фреоновый охладитель. В его задачи входит охлаждение наружного воздуха до такой температуры, которой будет достаточно для того, чтобы получить заданную температуру воды на выходе из мембранного теплообменника. Таким образом, холодопроизводительность фреонового охладителя относительно не велика: он не отводит теплоизбытки целого дата-центра, а лишь сбрасывает «излишки» температуры в жаркие дни. 

Привлекательной особенностью системы охлаждения SPLC является экономия воды. По данным компании Facebook, в систему SPLC затраты воды на функционирование ЦОД на 20-90% ниже, чем в системе косвенного фрикулинга.

Рисунок 3. Схема модуля охлаждения SPLC от компании Facebook

Но, как было отмечено выше, в этой концепции ценность представляет вода – именно она является холодоносителем в системе. А классический вариант подобной схемы, когда в теплообменник подаётся вода для увлажнения и охлаждения воздуха, и далее в системе охлаждения используется именно воздух, реализован в решении CyberHandler 2 от компании Stulz. Данные установки большую часть времени работают в режиме фрикулинга. При повышении наружной температуры в перекрестно-точный рекуператор подаётся вода. При дальнейшем повышении наружной температуры можно использовать встроенную холодильную машину, которая удаляет излишки тепла.

Охлаждение ЦОД и отопление зданий 

Повышение энергоэффективности ЦОД можно достичь не только за счёт технологий свободного охлаждения и отказа от компрессионного холодильного оборудования. Ещё один путь заключается в том, чтобы направить вырабатываемое в ЦОД тепло на пользу другим объектам или, как минимум, на пользу офисной зоне, примыкающей к дата-центру.

В самом маленьком масштабе речь идёт о микро-ЦОД, который представляет собой всего одну стойку. Мощность такой стойки может достигать 40 кВт, и этой энергии достаточно для отопления 400 квадратных метров офисных помещений.

Например, решение MicroDC от компании Stulz представляет собой серверный шкаф высотой от 40 до 48 юнитов, и охлаждается он за счёт циркулирующей воды, температура которой может достигать 60°С. Это позволяет применять такое решение для охлаждения близлежащих помещений. Впрочем, отопление вполне возможно и при меньших температурах воды: температура воды в батареях отопления не постоянна и зависит от наружной температуры.

Компания Qarnot предлагает майнинговые фермы, собранные в более мощные майнинговые узлы, которые могут майнить криптовалюту и отапливать помещение.

Одним из ярких примеров кооперации вычислительных мощностей и отопительных приборов следует признать центр обработки компании Яндекс в финском городке Мянтсяля. В нём реализована технология круглогодичного прямого фрикулинга. В зимнее время года к приточному воздуху подмешивается вытяжной для того, чтобы не дать температуре в машинном зале ЦОД опуститься ниже требуемых значений. А на случай жары предусмотрены адиабатные увлажнители воздуха. Впрочем, в этой северной стране жара – явление весьма редкое.  

Однако интерес представляет система утилизации теплоты. Вытяжной воздух нагревает воду примерно до +30°С, чего недостаточно для того, чтобы отапливать помещения. Для повышения температуры использованы тепловые насосы. Благодаря им в контуре отопления температура теплоносителя составляет 55-60°С, и он направляется в теплосеть города Мянтсяля. В дата-центре Яндекса во Владимире также рассматриваются варианты утилизации бросового низкопотенциального тепла. 

Технологии искусственного интеллекта и отопления офисной зоны сочетает в себе ЦОД Сбербанка в Сколково. Сердцем его системы охлаждения также являются установки свободного охлаждения. С их помощью обеспечивается поддержание оптимальных параметров микроклимата в течение 330 дней в году. В жаркие дни дополнительное охлаждение воздуха выполняется за счёт фреоновых доводчиков. Полученное тепло направляется на отопление прилегающей офисной зоны, а сама система свободного охлаждения тесно взаимосвязана с расположенной на объекте метеостанцией. Если прогноз погоды предвещает жаркие дни, в баках-аккумуляторах накапливается «дешёвый» холод, и работа энергоёмкого фреонового контура охлаждения сводится к минимуму. 

Заключение

В борьбе за коэффициент полезного использования энергии в центрах обработки данных применяются самые разные методы. Так как наибольший вклад в рост PUE вносит система охлаждения, то именно в этой области разворачивачивется наиболее острая битва за энергоэффективность. Среди решений стоит отметить применение прямого и косвенного фрикулинга с адиабатным увлаженением воздуха, искусственного интеллекта, использование холода гор, морской воды и подземных вод, полезное использование бросового тепла. 

Данные решения направлены на оптимизацию воздушного охлаждения серверов в ЦОД. Но в настоящее время активно развивается и совершенно новая ниша – жидкостное охлаждение вычислительного оборудования, когда охлаждающая жидкость подводится непосредственно к процессорам ИТ-инфраструктуры дата-центра. О данных технологиях журнал «Мир Климата» расскажет в одном из ближайших выпусков.