Как Google охлаждает принадлежащую компании флотилию серверов

Вам представляется редкая возможность заглянуть внутрь самых горячих зон дата-центра Google.

https://fixit.center ремонт мелкой бытовой техники в москве.

Вентиляторы, расположенные позади серверов, направляют нагретый воздух в закрытый коридор. Охлаждающие катушки с холодной водой, находящиеся в верхней части коридора, охлаждают поднимающийся воздух. Серебристые трубы в левой части фотографии предназначены для подачи воды из охлаждающих башен (градирен).

В течение последних лет Google время от времени делилась своими лучшими практиками, но техническая сторона функционирования принадлежащих компании дата-центров всегда оставалась загадкой. Одной из наиболее охраняемых тайн было устройство системы охлаждения, позволяющей компании размещать десятки тысяч серверов в серверных стойках.

Джо Кава, старший директор подразделения дата-центров Google, обсудил устройство системы охлаждения с представителями сайта Data Center Knowledge в связи с публикацией серии фотографий "Где живет Интернет" и приложения StreetView, позволяющих миллионам пользователей Google заглянуть внутрь принадлежащих компании дата-центров. Если вы относитесь к категории управляющих ЦОД, которых пугает перспектива соседства воды и ИТ-оборудования, то нижеследующие строки могут вас шокировать.

В принадлежащих Google дата-центрах серверное помещение представляет собой единый холодный коридор. Фальшпол не снабжается вентиляционными решетками. Весь процесс охлаждения происходит внутри закрытых горячих зон (коридоров), которые находятся между рядами серверных стоек. Охладители с холодной водой служат в данных участках «потолком», внутри также находятся толстые трубы в стальной оплетке, по которым вода подается из градирен, расположенных за пределами здания.

Следуя за воздушным потоком

Вот как организован воздушный поток: температура в ЦОД поддерживается на уровне 26,5°С, что несколько превышает значение, используемое в большинстве дата-центров в мире. Воздух с такой температурой подается на сервера и охлаждает серверные компоненты, при этом нагреваясь. Вентиляторы, расположенные в задней части стоек, направляют воздух в закрытые горячие зоны, температура в которых достигает 50°С. Горячий воздух поднимается в верхнюю часть этих зон, проходит через охлаждители (дословно - "охлаждающие катушки") и охлаждается до комнатной температуры, а затем выбрасывается через верхнюю часть горячих зон (коридоров). Гибкие трубы, проведенные под фальшполом, соединяются с охлаждающими катушками, расположенными в верхней части горячего участка, и уходят обратно под фальшпол. 

Несмотря на длительную историю применения систем водяного охлаждения, которые использовались еще в мейнфремах IBM, некоторые управляющие современных ЦОД опасаются близкого расположения водяных труб к серверам и устройствам хранения. Многие производители встраиваемых систем охлаждения, предназначенных для установки между рядами стоек, предлагают на выбор использование охлажденной воды либо хладагента.

Кава явно доволен подходом, который использует Google, и говорит, что схема включает в себя систему обнаружения протечек и систему обеспечения отказоустойчивости на случай выхода труб из строя.

«Если в охладителе возникнет течь, вода будет капать прямо вниз и уходить под фальшпол», - говорит Кава. Он, впрочем, утверждает, что утечка воды через небольшое отверстие или разрыв катушки могут доставить определенную головную боль. «Мы уже достаточно давно используем данную схему охлаждения, и ни разу у нас не было серьезной утечки».

Упор на эффективность

Кава утверждает, что подобная схема, является существенно более эффективной, чем использование потолочных воздуховодов, по которым отработанный горячий воздух подается в системы CRAC (Computer Room Air Conditioning, шкафные прецизионные кондиционеры), расположенные по периметру фальшполов. «Такой подход неэффективен, поскольку горячий воздух перемещается на большое расстояние прежде, чем попадет в модули CRAC», - заявил Кава.

Проект систем охлаждения Google направлен на достижение максимальной эффективности – и я подразумеваю здесь не только энергоэффективность. Сюда также необходимо включить эффективность затрат на эксплуатацию. К примеру, использование пластиковых штор вместо жестких изолирующих конструкций для управления воздушным потоком в серверных помещениях.

Кастомизированные серверы Google созданы по принципу максимально открытого расположения компонентов и помещены на салазки для того, чтобы к компонентам легко было получить доступ. Это очень удобно для администраторов, которые производят замену компонентов, а также позволяет снизить затраты на обслуживание серверов.

«Когда вы выдвигаете серверную корзину, она напоминает противень для выпечки», - говорит Кава. «Это экономичный подход. Мы не используем красивые металлические корпуса».

Кава заявил, что в ближайшие недели будет опубликована дополнительная информация относительно лучших практик компании Google. «Мы планируем дополнить опубликованные фотографии серией блогов с описанием используемых нами технологий».

Фотография серверного помещения дата-центра Google в Mayes County, штат Оклахома, на которой представлены высокоэффективные серверы компании.