Одна из тенденций на рынке ЦОД последних лет – строительство крупных объектов с числом стоек 200 и более штук. В мегаЦОД их количество достигает нескольких тысяч штук. При этом мощность объекта и, соответственно, мощность системы охлаждения, достигает десятков мегаватт.

Крупные ЦОД в большинстве случаев представляют собой несколько машинных залов, численность стоек в которых не превышает 200 штук. Каждый такой зал охлаждается собственным комплексом прецизионных кондиционеров, а потому можно говорить о том, что охлаждение крупного ЦОД представляет собой задачу охлаждения нескольких ЦОД среднего размера (см. «Кондиционирование ЦОД среднего размера», Мир Климата №106). Однако, как водится, везде есть свои нюансы.

Архитектура ЦОД

Несмотря на то, что крупные ЦОД представляют собой несколько средних ЦОД, архитектура этих объектов кардинально различается. И дело не в устройстве ЦОД как такового – в любом машинном зале стойки образуют ряды, а охлаждение на большинстве объектов осуществляется шкафными кондиционерами с выдувом холодного воздуха под фальшпол.

Причина кроется в архитектуре самого здания, отданного под строительство ЦОД. Как показывает практика, малые и средние ЦОД формируются внутри существующих зданий, зачастую в стеснённых обстоятельствах, с заниженными потолками. В свою очередь мегаЦОД устраивают либо во вновь возводимом здании, либо его формируют в рамках существующего производственного цеха со свободной планировкой. Иными словами, малые и средние ЦОД подгоняются под возможности строения, а для крупных объектов само здание подгоняется под нужны ЦОД.

Возможность определять строительную архитектуру позволяет создавать «правильные» планировки для крупных ЦОД – с удобным расположением взаимосвязанных помещений, достаточной шириной прохода, полноценными пандусами, качественным охлаждением.

Как результат, для мегаЦОД характерно масштабирование не на уровне рядов стоек или машинных залов, а на уровне блоков (или модулей). Каждый модуль может включать в себя машинный зал, помещение ИБП, электрощитовую, венткамеру и прочие помещения.

На рисунке 1 приведена часть планировки крупного ЦОД. Площадь каждого машинного зала составляет 110 квадратных метров. На ней расположены 4 ряда стоек по 14 стоек в каждом ряду, мощность каждой стойки составляет 9 киловатт. Это достаточно большая мощность для охлаждения с помощью шкафных кондиционеров через фальшпол, поэтому горячие коридоры изолированы.

Охлаждение каждого машинного зала осуществляется пятью шкафными прецизионными кондиционерами, ещё один кондиционер является резервным. Кондиционеры расположены в прилегающих к машинному залу помещениях венткамер.

С другой стороны к машинному залу прилегает помещение ИБП и электрощитовой. Это позволяет одной магистралью системы холодоснабжения обслуживать и машинный зал, и помещение ИБП.

Рисунок 1. Часть планировки крупного ЦОД с тремя модулями, каждый из которых включает в себя машинный зал, помещения ИБП и электрощитовой, венткамеру, тамбур.

Нестандартные источники холода

Для крупных ЦОД, особенно зарубежной постройки, характерно использование нестандартных источников холода – свободного охлаждения за счёт наружного воздуха, холода земли, озёр, подземных вод и т.д. В России на данный момент реально можно говорить только о технологии свободного охлаждения – фрикулинге. Эта технология уже неоднократно применялась на различных объектах, по ней накоплен определённый опыт, её можно смело отнести к числу перспективных.

Помимо природных источников холода для крупных ЦОД в рамках концепций зачастую рассматривают абсорбционные холодильные машины. Дело в том, что крупные объекты обычно возводятся на территориях бывших или действующих промзон, то есть в тех местах, где есть возможность использовать бросовое тепло. Именно абсорбционные холодильные машины позволяют эффективно получать холод из фактически бесплатного бросового тепла.

В качестве бросового может быть рассмотрено как тепло самого ЦОД, так и тепло от выхлопов газопоршневых электростанций, используемых для электроснабжения ЦОД . Кроме того, возможна утилизация регионального бросового тепла. Каждый из указанных случаев имеет огромный потенциал, однако очевидные бюрократические сложности фактически нейтрализуют их преимущества. На рисунке 2 представлена принципиальная схема, предложенная в рамках одной из концепций ЦОД, однако предложенные решения так и остались на бумаге.

Рисунок 2. Принципиальная схема охлаждения ЦОД с помощью абсорбционных холодильных машин, работающих от тепла выхлопов газопоршневых электростанций или регионального бросового тепла.

Применение динамических ИБП

Определённые изменения в классическую принципиальную схему охлаждения ЦОД на базе чиллерного оборудования вносит тип используемых источников бесперебойного питания.

Классическим вариантом является применение ИБП двойного преобразования, имеющих внешний вид подобно шкафу или стойке. Данные ИБП устанавливаются в отдельном помещении в ряды и подлежат охлаждению аналогично машинному залу ЦОД. Для данных «классических» ИБП схема холодоснабжения также будет классической.

Однако для крупных ЦОД характерно применение динамических источников бесперебойного питания (ДИБП). Не вдаваясь глубоко в технические подробности, скажем, что при использовании ДИБП в системе холодоснабжения не требуются аккумулирующие баки для поддержания автономной работы ЦОД.  Кроме того, помещения для ДИБП не требуют охлаждения, то есть задачи кондиционирования ИБП в этом случае не стоит.

Остановимся подробнее на аккумулирующих баках. Для обычных объектов они нужны, чтобы обеспечить фанкойлы холодной водой на время остановки чиллера ввиду наличия задержки повторного запуска компрессоров (как правило, 6 минут).

Однако в случае ЦОД аккумулирующие баки играют роль резервного хранилища холода на случай отключения электричества на объекте. При этом электроэнергию будут генерировать ИБП за счёт аккумуляторных батарей, а внутренние блоки водяных кондиционеров будут работать за счёт холода, накопленного в баках-аккумуляторах.

Для крупных ЦОД ёмкость баков-аккумуляторов составляет сотни кубометров, их масса составляет сотни тонн. Стоимость этого запаса определяется не только стоимостью баков как таковых, но и ценой самого холодоносителя, его охлаждения, стоимостью занимаемого баками места, его строительной подготовки для указанных нагрузок, и, наконец, стоимостью решений для аварийного слива и утилизации холодоносителя.

Например, для ЦОД мощностью 3 мегаватта ёмкость баков-аккумуляторов составляет порядка 200 кубических метров. Даже в весьма компактном исполнении с учётом зон обслуживания они занимают дополнительные 200 квадратных метров площади.

Таким образом, схемы холодоснабжения различаются в зависимости от вида применяемого ИБП. Применение ДИБП в системе электроснабжения ЦОД позволяет избавиться от баков-аккумуляторов холода и уйти от потребности в охлаждении помещения ИБП.

Резервирование кондиционеров

Ни один центр обработки данных не обходится без резервирования инженерного оборудования. Для крупных дата-центров следует предусматривать резервные кондиционеры для каждого машинного зала. Таким образом, если в ЦОД три машинных зала, для каждого из которых требуется 4 рабочих кондиционера, то общее число резервных блоков составит 3 штуки – по одному на каждый зал.

При этом если для каждого машинного зала предусмотрено отдельное наружное климатическое оборудование, то оно также должно иметь одну резервную единицу. Если же наружные блоки  являются едиными для всего ЦОД (например, несколько чиллеров, обслуживающих ЦОД целиком), то достаточно предусмотреть всего один резервный чиллер на весь ЦОД.   

Вторая ситуация, как может показаться, позволяет сэкономить на резервном оборудовании, поскольку требуется всего один резервный блок вместо трёх. Однако централизация наружного оборудования ведёт к увеличению длин трасс, типоразмеров труб, количества арматуры, а также к усложнению обвязки систем холодоснабжения, усложнению автоматики и росту стоимости эксплуатации полученной системы. В данном случае только технико-экономический анализ позволит точно ответить на вопрос, какой из вариантов окажется наиболее выгодным.  

Гибридное резервирование

Ещё одно рационализирующее решение в части резервирования касается ЦОД, охлаждаемых с использованием фрикулинга. Установки свободного охлаждения отличаются большими габаритами как самого оборудования, так и трасс воздуховодов. Как результат, на объекте весьма сложно найти место для монтажа резервных установок свободного охлаждения.  

В этом случае на помощь приходит гибридная система охлаждения – на базе свободного охлаждения и классических фреоновых кондиционеров. Суть его заключается в том, что установки свободного охлаждения предусматриваются для каждого машинного зала по номинальной мощности (без резерва). А в качестве резервных устанавливаются менее габаритные шкафные кондиционеры. Такой подход позволяет совместить «дешёвый» холод и общую надёжность ЦОД.  

Дальнейшая оптимизация предложенного решения приводит к окончательному снижению мощности классических кондиционеров. При этом необходимое для резервирования установки свободного охлаждения количество кондиционеров устанавливается не в каждом машинном зале, а на весь объект в целом.  

Рассмотрим конкретный пример. Допустим, ЦОД включает в себя 4 машинных зала, мощность ИТ-оборудования в каждом из которых составляет 700 киловатт. Для охлаждения каждого машинного зала применяются установки свободного охлаждения, генерирующие по 350 киловатт холода каждая. Таким образом, в общей сложности на объекте будет установлено 8 таких установок. Однако они направлены на устранение лишь номинальных теплоизбытков. В случае аварии одной из установок резерва нет.  

Для решения проблемы резерва предлагается использовать шкафные прецизионные кондиционеры. На первый взгляд, кажется, что в каждый машинный зал требуется установить по нескольку кондиционеров – для полноценной замены одной установки свободного охлаждения. Например, 4 кондиционера по 90 киловатт каждый, в общей сложности 16 кондиционеров на весь объект. Но можно сэкономить, рассматривая весь объект в комплексе. Поскольку задача заключается в том, чтобы обеспечить резерв на объекте, а на объекте установлено 8 агрегатов по 350 киловатт, то достаточно зарезервировать лишь один из них, установив, например, в каждый машинный зал по одному кондиционеру или установив 4 кондиционера только в один из залов.    

Подобная схема представлена на рисунке 3. Как видно из рисунка, согласно проекту, в каждом машинном зале был предусмотрен один шкафной кондиционер холодильной мощностью 100 киловатт. При аварии на одной из установок свободного охлаждения включаются в работу шкафные кондиционеры. Они «снимают» по 100 киловатт тепла в каждом машинном зале. Избыток холода от установок свободного охлаждения по перепускным клапанам попадает в тот машинный зал, в котором вышла из строя установка свободного охлаждения.

Отметим ещё пару нюансов. Во-первых, резервные кондиционеры, поскольку их всего 4, выгоднее предусматривать фреоновыми, а не водяными, если более нигде на объекте не используется вода. Причина проста – «городить» чиллерную систему в данном случае будет весьма дорого.

Во-вторых, фактически, если 4 резервный кондиционера представить как единый блок резервирования, мы имеем ситуацию с 8 рабочими и 1 резервным блоками. Однако при создании действительно надёжной системы, а не просто системы, удовлетворяющей требованиям резервирования N+1, рекомендуется, чтобы одна резервная единица приходилась не более чем на 4-7 рабочих агрегата. То есть мы уже немного выбиваемся из рекомендаций, а если учесть резервный блок состоит из четырёх независимых кондиционеров, каждый из которых также может сломаться, то, очевидно, что схема не является абсолютно надёжной.

В данном случае можно предложить, как минимум, зарезервировать один из резервных кондиционеров. Тогда общее их количество достигнет 5 штук и это положительно скажется на надёжности всей системы в целом.

Рисунок 3. Пример резервирования установок свободного охлаждения с помощью шкафных кондиционеров.  

Резервирование трасс и арматуры

Для ЦОД важна надёжность системы в целом, а надёжность системы холодоснабжения определяется не только надёжностью основного климатического оборудования, но и более мелкими её узлами – трубопроводами и арматурой.

Схема холодоснабжения ЦОД должна предусматривать возможность протечки какой-либо из труб, а также возможность ремонта любого элемента арматуры, будь то фильтр или кран, без остановки всей системы.

Как результат, в принципиальных схемах системы холодоснабжения ЦОД предусматривают или дублирующие ветви трубопроводов и кондиционерами с двумя входами холодоносителя, или кольцевую схему движения холодоносителя, или же две идентичные системы холодоснабжения одновременно. В первых двух случаях резервированию подлежит ещё и арматура. Именно поэтому схемы холодоснабжения ЦОД кажутся перегруженными и запутанными.

На рисунке 4 приведены схемы подключения кондиционера в двух случаях – если кондиционер имеет два ввода холодоносителя и если у кондиционера один ввод, но предусмотрена кольцевая схема распределения холодоносителя.

В случае кольцевой схемы, как было сказано выше, нет тупиковых ветвей трубопроводов, а, следовательно, нет и тупиковых кондиционеров. К каждому из кондиционеров холодоноситель подводится с двух сторон. Развязка возле кондиционера позволяет обеспечить ремонт как самого кондиционера, так и арматуры возле него. Если в кольцевой схеме произошла авария на участке трассы слева от кондиционера, то подача холодоносителя осуществляется по трубопроводам, расположенным справа от кондиционера.

Всё вышесказанное относится не только к кондиционерам, но и к чиллерам, теплообменникам, насосным группам, бакам-аккумуляторам – словом, ко всем без исключения элементам системы холодоснабжения.

Рисунок 4. Подключение кондиционера с двумя вводами (слева) и с одним вводом при кольцевой схеме распределения холодоносителя (справа).  

Общие соображения о надёжности

Надёжность систем фреонового кондиционирования, а тем более водяного холодоснабжения – главный краеугольный камень проектов для центров обработки данных. Каждое решение для ЦОД имеет высокую стоимость, а нейтрализовать все усилия по повышению надежности способна любая мелочь. Несмотря на то, что все основные решения, казалось бы, уже придуманы и отработаны, на каждом объекте возникают вопросы о необходимости того или иного элемента в системе и ошибки в случае их отсутствия.

Однако оценка соответствия проекта или законченного монтажом объекта на тот или иной уровень надёжности производится простым перебором разнообразных аварийных ситуаций с проработкой алгоритмов функционирования системы в каждой из них. Подобные длительные рассуждения о надёжности ЦОД и резервировании тех или иных блоков в обязательном порядке должны проводиться по отношению к каждой концепции или проекту любой из инженерных систем ЦОД.

Справедливости ради заметим, что в последние годы формируется и иная точка зрения на надёжность ЦОД. Речь идёт не об обеспечении высочайшего уровня надёжности конкретного дата-центра, а о строительстве нескольких менее надёжных ЦОД, резервирующих друг друга.

Принципиальная схема холодоснабжения крупного ЦОД

На рисунке 5 представлена общая принципиальная схема холодоснабжения ЦОД мощностью 2,8 мегаватта. ЦОД включает в себя 4 машинных зала, в каждом из которых установлено ИТ-оборудование общей мощностью 700 киловатт. Приняты классические ИБП двойного преобразования. Для каждого машинного зала предусмотрено собственное помещение ИБП с тепловыделением 70 киловатт в каждом из них.

Для охлаждения объекта предусмотрена чиллерная система. Каждый машинный зал охлаждают 8 кондиционеров мощностью 100 киловатт, один из которых является резервным. В помещениях ИБП предусмотрено по два кондиционера мощностью 70 киловатт, один из которых также является резервным.

Общая мощность рабочих блоков кондиционеров составляет 3,08 мегаватта. Для генерации холода предусмотрены чиллеры в количестве 5 штук по 800 киловатт каждый. Один из чиллеров является резервным.

Поскольку система холодоснабжения должна работать круглый год, принята  двухконтурная схема. Иными словами, чиллеры охлаждают незамерзающий раствор этиленгликоля в воде, который далее посредством пластинчатых теплообменников отдаёт холод во внутренний водяной контур.

Именно на внутреннем контуре установлены баки-аккумуляторы. Требования по автономной работы на данном объекте потребовали запаса холодной воды в объёме 175 кубометров. Наиболее практичным явилось решение о применении ёмкостей объёмом 25 кубометров в количестве 7 штук.

Таким образом, решение о двухконтурной схеме холодоснабжения хоть и несколько проигрывает в энергоэффективности одноконтурной схеме, но имеет ряд преимуществ. Стоимость этиленгликоля заметно выше стоимости чистой воды, и двухконтурная схема позволяет на порядок снизить затраты на покупку гликоля, включая и тот факт, что баки-аккумуляторы в двухконтурной схеме заполнены водой, а не гликолевым раствором. Кроме того, гидродинамические характеристики гликолевого раствора хуже, чем у воды. Поскольку основная длина трубопроводов «работает» на воде, то менее эффективной остаётся лишь малая часть наружных труб.

Безусловно, при подборе оборудования следует помнить, на каком холодоносителе и каком температурном графике оно работает.

При подключении к кондиционеру и чиллеру предусмотрены отсекающие краны – они позволяют безболезненно проводить ремонт или сервис конкретной единицы оборудования.

Также отметим, что на трассе между кондиционерами и чиллерами установлены сдвоенные краны. Кроме того, все магистральные трубопроводы закольцованы, тупиковых трасс нет. Данные решения в совокупности позволяют безболезненно пережить любую аварию на трассе – протечку или плановый ремонт как трубопровода, так и любого из элементов арматуры.

Более того, как видно из рисунка 5, внутренний водяной контур системы имеет основную кольцевую магистраль и  ответвления к машинным залам и помещениям ИБП. Важно понимать, что кольцевой принцип применён не только к магистральному кольцу, но и к ответвлениям. Ветви трубопроводов, направленные в ЦОД, не являются тупиковыми, они также закольцованы. Узел соединения магистрального и внутреннего колец выполнен со сдвоенными кранами аналогично подключению кондиционеров на рисунке 4.

Таким образом, формируется многокольцевая весьма сложная структура, каждая линия, каждая единица оборудования и каждый кран на которой зарезервирован и может быть отремонтирован или временно изъят из системы на некоторое время без перебоев в функционировании системы в целом.

Рисунок 5. Принципиальная система охлаждения ЦОД мощностью 2,8 мегаватта, состоящего из 4 машинных залов и 4 помещений ИБП.

Заключение

Итак, крупные ЦОД на первый взгляд представляют собой несколько средних и малых ЦОД, объединённых под одной крышей. Однако ближайшее рассмотрение дел показывает, что для крупных объектов характерен ряд особенностей и различий.

При охлаждении крупных ЦОД чаще используют нестандартные источники холода и свободное охлаждение. Кроме того, внимание уделяется применяемым на объекте источникам бесперебойного питания, резервированию кондиционеров, трубопроводов и арматуры, архитектурным особенностям ЦОД. Отличительные особенности имеет и принципиальная схема холодоснабжения крупных ЦОД.