Схема охлаждения ЦОД, разработанная в рамках проекта Open Compute

На прошлой неделе Facebook объявил о запуске проекта Open Compute. В данной статье я привожу детальное описание разработанной Facebook схемы охлаждения.

Согласно материалам, изданным компанией Facebook, величина PUE для ЦОД, строящегося в рамках Open Compute, будет достигать 1,07. Даже если не брать в расчет затраты на питание системы охлаждения, питание серверов с потерей всего лишь 7% энергии является нетривиальной задачей. Я несколько скептически отношусь к заявленному годовому значению PUE для полностью загруженного дата-центра, но могу с уверенностью сказать, что созданная Facebook схема охлаждения является одной из лучших, что я встречал. Снимаю шляпу перед Джеем Парком и остальными членами команды Facebook по разработке ЦОД.

Для того, чтобы лучше понять используемую схему охлаждения, мы сначала рассмотрим общую диаграмму, а затем подробно остановимся на ключевых элементах схемы.

Первое, что бросается в глаза – в схеме не применяются системы кондиционирования, и отсутствует контур с охлажденной водой. Схема предполагает исключительно воздушное охлаждение ИТ-оборудования за счет наружного воздуха. Данный подход достаточно эффективен в условиях благоприятного климата центральной части штата Орегон.

Система охлаждения закачивает наружный воздух, который затем смешивается в определенной пропорции с горячим отработанным воздухом, что позволяет избежать сильного понижения рабочей температуры в холодные зимние дни. Далее, полученная смесь фильтруется, проходит через испарительные охладители и направляется стеновыми вентиляторами в охлаждаемые помещения ЦОД.

Схема забора воздуха

Система охлаждения занимает весь второй этаж здания, на первом этаже которого находится ИТ-оборудование и офисные помещения. На нижней фотографии видно, что расположенные слева воздухозаборники тянутся по всей длине здания. Область забора воздуха фактически находится «на улице»,  так что в полу предусмотрен водоотвод для попадающей внутрь воды. В правой верхней части фотографии находятся вентиляционные решетки, через которые воздух поступает в следующую секцию системы охлаждения. В правой нижней части видна белая металлическая обшивка воздуховода, по которому выводится горячий отработанный воздух, смешиваемый с наружным воздухом для предотвращения сильного понижения рабочей температуры в холодные дни.

Камера смешивания воздуха и система фильтрации

На представленной ниже фотографии показана следующая секция системы воздушного охлаждения ЦОД. Расположенные в левой верхней части вентиляционные решетки предназначены для подачи воздуха из области забора воздуха. В левой нижней части находятся контролируемые термостатом решетки, отвечающие за подачу отработанного воздуха с горячих участков. В данной камере происходит смешивание горячего и холодного воздуха, и полученная смесь затем проходит через фильтрующую стену, расположенную справа.

В подвальных помещения ЦОД все еще ведутся строительные работы, так что система фильтрации включает в себя ряд дополнительных бумажных фильтров, позволяющих продлить срок жизни более агрессивной фильтрующей среды, находящейся справа за фильтрующей стеной.

Испарительное охлаждение

На следующей фотографии представлена настраиваемая с учетом влажности и температуры система испарения воды, подаваемой под высоким давлением, также расположенная по всей длине здания. Большинство систем испарительного охлаждения, применяемых в ЦОД, работает в жидкой среде. В данной системе применяется вода, подаваемая под высоким давлением и пропускаемая через рассеиватели из нержавеющей стали для получения водяной пыли. Такая система позволяет реализовать качественное охлаждение, но она страдает от отложения известковых солей, и для ее очистки нельзя применять агрессивные моющие средства, что повышает затраты на эксплуатацию. Однако, данная схема является крайне эффективной.

Сразу за распылителями находится фильтрующая среда. Ее задача состоит в том, чтобы не пропускать крупные водяные частицы за пределы помещения.

Система выхлопа отработанного воздуха

На последней фотографии видно, что мы добрались до противоположного конца здания, где расположены выхлопные вентиляторы. Воздух поступает в здание с одной стороны, фильтруется, охлаждается и закачивается в охлаждаемые помещения через огромные отверстия в полу, расположенные непосредственно перед выхлопными вентиляторами.

Выхлопные вентиляторы контролируют давление в здании путем откачивания неиспользуемого воздуха обратно на улицу.

Схема, примененная в ЦОД Facebook, имеет общие черты со схемой, предложенной компанией EcoCooling, о которой я писал ранее (Пример эффективной схемы охлаждения ЦОД). Оба подхода используют целое здание в качестве воздуховода, и в обоих применяется испарительное охлаждение. Разница заключается в следующем:

1. схема EcoCooling предполагает использование водной среды, в то время как схема Facebook использует систему испарения воды, подаваемой под высоким давлением,
2. схема EcoCooling предполагает расположение систем охлаждения на одном этаже с охлаждаемым оборудованием, в то время как схема Facebook использует для этого весь второй этаж здания.

Наиболее интересные особенности схемы, используемой Facebook:

1. использование всего здания в качестве воздуховода с огромными пленумами,
2. отсутствие систем кондиционирования,
3. испарительное охлаждение с использованием водяной пыли,
4. большие и эффективные импеллеры с переменной частотой вращения,
5. фильтрационные стены с низким сопротивлением.

Я много лет утверждал, что механические системы охлаждения несут в себе огромный потенциал для повышения качества охлаждения ЦОД, и что именно в этой области необходимы инновации. Дата-центр Facebook, расположенный в Prineville, реализует одну из наиболее эффективных схем охлаждения, что мне приходилось встречать. Красиво и эффективно.