Развитие директивы ASHRAE о микроклимате центров обработки данных

Директива ASHRAE о микроклимате вычислительных центров, выпущенная в 2004 году Техническим комитетом 9.9 при ASHRAE и обновленная в 2008 году, заложила основу, позволяющую специалистам общаться на одном языке и лучше понимать смысл температурных требований ИТ-оборудования. Рост внимания к энергоэффективности всего оборудования в целом и систем охлаждения в частности заставляет развивать положения Директивы в направлении расширения диапазонов температуры и влажности в ЦОД.

Опыт последних лет показал, что использование экономайзеров при увеличенном диапазоне параметров микроклимата в машинном зале позволяет существенно сократить энергоемкость системы охлаждения. Новая Директива ASHRAE 2011 года определяет эту практику как основное направление деятельности по повышению энергоэффективности.

Энергоэффективность инженерной инфраструктуры определяется коэффициентом использования энергии PUE (Power Usage Effectiveness), который вычисляется следующим образом:

Чем строже требования к микроклимату, тем выше энергопотребление ЦОД. Для достижения лучших значений PUE и общей эксплуатационной эффективности Технический комитет 9.9 при ASHRAE расширил классификацию ИТ-оборудования и добавил два новых класса, которые лучше подходят для ЦОД с бесчиллерным охлаждением. Комитет также разработал детальное руководство по определению оптимального диапазона параметров микроклимата ЦОД, а также создал классификацию систем жидкостного охлаждения, предназначенных в первую очередь для дата-центров высокой плотности.

Директива о воздушном охлаждении

Классы оборудования и соответствующие им лимиты температуры и влажности определяют диапазон значений параметров среды, в которой может работать данное оборудование. Целью первой Директивы ASHRAE было задать нормативы, которые позволили бы быть уверенными в том, что система охлаждения ЦОД справится с тепловыделением ИТ-оборудования.

Исходная версия Директивы 2004 года определяла допустимые и рекомендуемые диапазоны температур. Соответствующая техника разрабатывалась для функционирования в допустимом диапазоне, и в ЦОД должны были поддерживаться именно эти параметры. Эксплуатация оборудования вне указанного диапазона могла привести к его нештатной работе, появлению ошибок, снижению производительности, отключению и необратимым поломкам.

Рекомендуемый диапазон определял границы, в которых оборудование характеризуется наивысшей надежностью. В 2008 году рекомендуемый диапазон температуры и влажности был расширен, позволяя снизить длительность работы холодильного цикла (механического охлаждения) и увеличить продолжительность работы экономайзеров.

С 2008 года появилось множество новых технологий охлаждения, конкурирующих с традиционными. В настоящее время исследуется возможность использования наружного воздуха с целью значительного сокращения времени работы механического охлаждения и расширения возможности применения экономайзеров. Однако имеются и противники использования наружного воздуха для охлаждения ИТ-оборудования.

Двигаясь в ногу со временем, Технический комитет 9.9 разработал «Директиву по микроклимату для ЦОД-2011» — расширенную классификацию ЦОД и руководство по ее использованию.

Классы оборудования в зависимости от параметров микроклимата

В таб. 1 представлены определения классов согласно Директиве 2011 года, а также классификация 2008 года. Названия классов были изменены с целью более простого определения возможности применения оборудования в ЦОД (в ЦОД можно применять только оборудование класса «А»). Соответствие какому-либо классу требует полной работоспособности оборудования во всем указанном диапазоне параметров микро­климата.

Таблица 1. Параметры микроклимата в ЦОД от 2008 и 2011 гг.

Рис. 1 иллюстрирует ранее существовавшую классификацию, соответствующую нынешним классам А1 и А2, а также вновь введенные классы А3 и А4. В табл. 2 собраны соответствующие пределы параметров микроклимата.

Таблица 2. Определение параметров микроклимата в ЦОД от 2011г. Данные указаны для входящего в ИТ-оборудования воздуха

Большинство потенциальных мест размещения ЦОД в мире соответствуют классам А3 и А4, что предполагает практически круглогодичное использование фрикулинга. Новые дата-центры могут работать без чиллеров, что влечет снижение капитальных затрат, в то время как другие ЦОД могут снабжаться чиллерами для обеспечения круглогодичной доступности ИТ-сервисов. Дополнительно введенные классы предоставляют различные варианты использования и приоритеты при эксплуатации оборудования. Каждый ЦОД должен быть оптимизирован под задачи его собственника или оператора. И, несмотря на множество потенциальных преимуществ от использования классов А3 и А4, необходимо взвесить все «за» и «против», учитывая возможный ущерб.

Эксплуатационные ограничения

Рис. 1. Границы классов параметров микроклимата, введенных ASHRAE в 2011 году для ЦОД. Зонирование дано по температуре входящего в ИТ-оборудование воздуха

Рекомендуемый диапазон параметров микроклимата определяет границы, в которых достигается наивысшая надежность и энергоэффективность ИТ-оборудования, согласно данным его производителей. Рекомендуемый диапазон не должен пониматься в качестве жестких лимитов, установленных для температуры и влажности входящего в ИТ-стойки воздуха. Данный диапазон служит отправной точкой в процессе эксплуатации, когда у обслуживающего персонала еще недостаточно опыта для понимания оптимальных параметров микроклимата, которые следует поддерживать в ЦОД. Предстоящая третья редакция Директивы станет руководством по их определению для всех типов ЦОД: существующих, модернизируемых или вновь возводимых.

Эксплуатация вне рекомендуемого диапазона требует поиска баланса между энергосбережением системы охлаждения и различными негативными эффектами (рис. 2).

При выборе класса конкретного дата-центра необходимо учитывать следующие факторы:

Надежность. Высокая надежность ИТ-оборудования несовместима с высокими температурами его эксплуатации. Однако использование экономайзеров необязательно вызовет снижение надежности. В Директиве приводится расчет надежности в зависимости от температуры эксплуатации и длительности ее превышения.

Энергопотребление. Основная цель расширения допустимых границ параметров микроклимата — снижение общего энергопотребления ЦОД. При повышении температуры увеличивается скорость вращения вентиляторов ИТ-оборудования: чем ближе температура микросхем к предельному значению, тем быстрее вращаются вентиляторы. Кроме того, их скорость зависит от загрузки серверов. Потребляемая вентилятором мощность растет непропорционально его скорости.

Производители могут избежать увеличения скорости вращения вентиляторов при росте входящей температуры путем увеличения типоразмеров ИТ-оборудования, однако это приведет к увеличению его габаритов и стоимости. Также при росте температуры некоторые кремниевые изделия потребляют больше энергии из-за токов утечки. Директива ASHRAE оговаривает возможность изменения энергопотребления дата-центра при увеличении температуры на входе в ИТ-стойки.

Производительность и доступность. Многие производители ИТ-оборудования оснащают свои устройства модулем управления потребляемой энергией в зависимости от температуры устройства. Также в зависимости от заложенных изготовителем температурных параметров, некоторые системы могут быть лучше других приспособлены к данным конкретным условиям. Системы, позволяющие управлять своей потенциальной загрузкой в сравнении с аналогичными устройствами, настроенными на определенную рабочую нагрузку, демонстрируют лучшую производительность в более широком диапазоне условий эксплуатации.

Рисунок 2. Параметры, влияющие на определение классов

Коррозия. Увеличенный верхний предел допустимой влажности грозит проблемами коррозии. Еще более острой эта проблема станет в ЦОД, где присутствуют агрессивные газы. Потенциальная коррозионная активность среды зависит от места размещения ЦОД, и проектировщики должны изучить эти данные для выбранной местности. Но даже если известно, что коррозионная активность среды низка, кратковременные переходные процессы остаются под угрозой.

Шум и воздушный поток. Как было сказано выше, увеличение температуры в ЦОД ведет к разгону встроенных в оборудование вентиляторов. Одновременно происходит и увеличение уровня шума. Соответственно, на объекте должны быть приняты меры по снижению шума до нормативных значений.

Стоимость. Для работы при повышенной температуре ЦОД требуется более дорогое оборудование.

Электростатические разряды. Понижение нижнего предела допустимой влажности в классах А3 и А4 увеличивает риск электростатических разрядов. Однако производители ИТ-оборудования закладывают в свои устройства соответствующую защиту согласно международным стандартам. Хорошо продуманная защита от электростатики в ЦОД способна предотвратить большинство проблем, вызванных чрезмерной сухостью воздуха.

Руководство по жидкостному охлаждению

Выпущенное в 2006 году руководство по жидкостному охлаждению в ЦОД в основном было сфокусировано на проектных возможностях ЦОД и не определяло возможные диапазоны температур охлаждающей жидкости. В 2011 году Технический комитет 9.9 обновил руководство, выработав классификацию температурных диапазонов. Также новый документ закрепляет некоторые требования по взаиморасположению ИТ-оборудования и соответствующих ему жидкостных охладителей.

Ориентируясь на производительность, энергоэффективность и использование бросовой энергии, несколько диапазонов температур были подстроены под требования операторов ЦОД. Классы покрыли широкий диапазон температур подаваемой к оборудованию воды, что делает возможным внедрение различных схем жидкостного охлаждения.

Благодаря введению разработанных классов, причем без строго указания, какого именно класса следует придерживаться, производители могут разрабатывать свои продукты в зависимости от нужд и пожеланий заказчика.

Жидкостное охлаждение ИТ-оборудования

Рис. 3. Комбинация стоек воздушного и водяного охлаждения с модулями распределения охлаждения (МРО). А – внешний МРО, в – внутренний МРО

Увеличение тепловой плотности современной электроники увеличивает величину нагрева воздуха при охлаждении электронных компонентов серверного оборудования. Для решения этой проблемы внедряется прямое жидкостное или фреоновое охлаждение. Способность воды или хладагента отводить большое количество тепла с единицы объема или массы дает значительные преимущества. А из-за рабочих температур, связанных с жидкостным охлаждением, в ЦОД отлично вписываются водяные экономайзеры.

В прошлом высокопроизводительные ЭВМ (мейнфреймы) часто охлаждались водой, проходящей по каналам, предусмотренным изготовителями. Сегодня получают распространение компоненты вычислительных систем, также снабженные герметичными каналами для подачи воды от системы охлаждения здания с возможностью внедрения водяных экономайзеров. Ужесточенная стандартизация вариантов соединения каналов с внешней системой охлаждения также способствует более широкому применению жидкостного охлаждения.

Сегодня могут быть внедрены несколько решений с жидкостным охлаждением, например, теплообменники, устанавливаемые в заднюю дверь ИТ-стойки, над ней или на боковой стороне. Другое решение представляет собой полностью закрытую стойку, использующую воздух в качестве рабочего вещества и водовоздушный теплообменник для отведения тепла наружу. Еще один способ — использование внутри стойки холодных пластин, по которым проходит охладитель. Модуль распределения охладителя может быть как внешним относительно стойки (рис. 3 А), так и располагаться внутри нее (рис. 3 Б).

На рисунках 3 А и 3 Б представлена взаимосвязь ИТ-стойки с жидкостным охлаждением и удаленным теплоотводчиком.

Характеристики подаваемой жидкости

Жидкость, подаваемая к ИТ-оборудованию, представляет собой подготовленную воду, водный раствор, хладагент или диэлектрик. Соответствие классу жидкостного охлаждения означает полную функциональность оборудования при работе с жидкостью, имеющей характеристики данного класса.

Разработчикам ИТО, работающим с более высокими подаваемыми температурами, как указано в таб. 3, потребуется поддерживать температуру охлаждаемых жидкостью компонентов внутри заданного диапазона. В целом чем выше температура подаваемой охлаждающей жидкости, тем выше и стоимость системы жидкостного охлаждения.

Таблица 3. Классы жидкостного охлаждения ASHRAE

Классы W1/W2. Обычно дата-центры этих двух классов охлаждаются с помощью чиллеров и градирен, но, в зависимости от своего расположения, могут оснащаться водяным экономайзером (функцией фрикулинга для чиллеров. — Прим. перевод.) для повышения энергоэффективности (рис. 4 А).

Класс W3. В большинстве мест размещения ЦОД этого класса чиллерная система охлаждения может не использоваться. Но в некоторых регионах использование чиллеров по-прежнему необходимо.

Класс W4. ЦОД класса W4 работают без чиллерного охлаждения, что обеспечивает экономию энергии и снижение капитальных затрат.

Класс W5. ЦОД класса W5 работают не только без чиллерного охлаждения, но и с использованием бросовой энергии: нагретая ИТ-оборудованием вода направляется на отопление офисных площадей вычислительного комплекса в зимнее время и для их кондиционирования посредством абсорбционных холодильных машин в летнее время.

Классы W1—W3 были разработаны ASHRAE совместно с Рабочей группой по энергоэффективности высокопроизводительных вычислительных систем (Energy Efficient High Performance Computing Working Group), являющейся частью Национальной лаборатории им. Лоуренса в Беркли (штат Калифорния, США).

На данный момент оборудования класса W3—W5 не существует. Появление данных продуктов в перспективе будет продиктовано требованиями рынка. Ожидается, что производители в будущем найдут компромисс между стоимостью оборудования и его производительностью. В то же время эти классы позволят снизить стоимость инфраструктуры ЦОД при их размещении в определенных регионах. Выбор класса жидкостного охлаждения в ЦОД должен учитывать совокупную стоимость владения: как капитальные затраты, так и эксплуатационные.

Добавим, что ИТ-оборудование на рис. 4 А и 4 Б должно включать в себя блоки распределения охладителя, если температура получаемой от здания воды ниже точки росы.

Эксплуатационные характеристики

Рис. 4. Схемы жидкостного охлаждения

Для классов W1 и W2 температура охлаждаемой воды должна быть выбрана, исходя из эксплуатационных требований. Желательно стремиться к оптимальным значениям между высокими температурами холодоносителя, для которых характерна высокая энергоэффективность, и низкими температурами, что снижает капитальные затраты.

Для классов W3, W4 и W5 температура охлаждаемой воды зависит от климатической зоны, в которой расположен ЦОД. При этом дата-центр может работать без чиллеров. Поэтому чрезвычайно важно определить границы применения водоохлаждаемого оборудования и возможность его интеграции в инфраструктуру, предназначенную для обеспечения бесперебойной работы.

Согласно требованиям класса W5 инфраструктура должна позволять отводить тепло ЦОД к ближайшим зданиям. Температура отводимой воды (нижняя граница — 113 °F или 45 °C) может зависеть от многих параметров, таких как: климатическая зона, требования системы отопления здания, расстояние до него, наличие зданий по соседству. При этом, безусловно, именно здание должно подстраиваться под параметры воды из ЦОДа, а не наоборот.

Выводы

Тепловое проектирование ИТ-оборудования подразумевает тонкое балансирование между производительностью, надежностью, стоимостью и энергопотреблением. Кроме того, проект ЦОД должен оптимизировать энергопотребление электроники и системы охлаждения. Понимание этого компромисса чрезвычайно важно для выработки действительно энергосберегающих решений.

Ответом на тенденцию к оптимизации энергопотребления ЦОД стало расширение Техническим комитетом 9.9 ASHRAE набора классов воздухоохлаждаемого ИТ-оборудования и определение классов оборудования с жидкостным охлаждением. Это позволяет найти компромисс между производительностью ИТ-оборудования, его надежностью, стоимостью и энергопотреблением, а также энергопотреблением системы охлаждения. Оба руководства содержат информацию, которая позволит большему числу операторов ЦОД достигнуть существенного энергосбережения системы охлаждения и снижения коэффициента использования энергии.

Робин А. Стейнбрехер, член ASHRAE, разработчик термальной структуры сервера Intel в Дюпон (Вашингтон), Роджер Шмидт, сотрудник IBM, главный инженер по энергоэффективности ЦОД в Пукипси (Нью-Йорк), экс-председатель Технического комитета 9.9 ASHRAE