Как Google охлаждает принадлежащую компании флотилию серверов
Вам представляется редкая возможность заглянуть внутрь самых горячих зон дата-центра Google.
https://fixit.center ремонт мелкой бытовой техники в москве.
Есть вопросы по проектированию?
Приглашаем в сообщество инженеров на 1 год
Раз в месяц даём ответы на все вопросы
Содержание статьи:
Хотите научиться проектировать? Учебный центр AboutDC приглашает на обучение:
- Курс А1. Вентиляция: с нуля до первого проекта
- Курс А1.1 - Кондиционирование с нуля до первого проекта. Сплиты, мульти-сплиты, разводка канальников, VRF
- Курс А2. ID-диаграмма. Расчет бассейнов и центральных кондиционеров
- Курс А3. Системы холодоснабжения: расчет чиллеров, фанкойлов, насосов и трасс
- Курс А4. Охлаждение ЦОД. Прецизионные кондиционеры. Фрикулинг
Вентиляторы, расположенные позади серверов, направляют нагретый воздух в закрытый коридор. Охлаждающие катушки с холодной водой, находящиеся в верхней части коридора, охлаждают поднимающийся воздух. Серебристые трубы в левой части фотографии предназначены для подачи воды из охлаждающих башен (градирен).
В течение последних лет Google время от времени делилась своими лучшими практиками, но техническая сторона функционирования принадлежащих компании дата-центров всегда оставалась загадкой. Одной из наиболее охраняемых тайн было устройство системы охлаждения, позволяющей компании размещать десятки тысяч серверов в серверных стойках.
Джо Кава, старший директор подразделения дата-центров Google, обсудил устройство системы охлаждения с представителями сайта Data Center Knowledge в связи с публикацией серии фотографий "Где живет Интернет" и приложения StreetView, позволяющих миллионам пользователей Google заглянуть внутрь принадлежащих компании дата-центров. Если вы относитесь к категории управляющих ЦОД, которых пугает перспектива соседства воды и ИТ-оборудования, то нижеследующие строки могут вас шокировать.
В принадлежащих Google дата-центрах серверное помещение представляет собой единый холодный коридор. Фальшпол не снабжается вентиляционными решетками. Весь процесс охлаждения происходит внутри закрытых горячих зон (коридоров), которые находятся между рядами серверных стоек. Охладители с холодной водой служат в данных участках «потолком», внутри также находятся толстые трубы в стальной оплетке, по которым вода подается из градирен, расположенных за пределами здания.
Следуя за воздушным потоком
Вот как организован воздушный поток: температура в ЦОД поддерживается на уровне 26,5°С, что несколько превышает значение, используемое в большинстве дата-центров в мире. Воздух с такой температурой подается на сервера и охлаждает серверные компоненты, при этом нагреваясь. Вентиляторы, расположенные в задней части стоек, направляют воздух в закрытые горячие зоны, температура в которых достигает 50°С. Горячий воздух поднимается в верхнюю часть этих зон, проходит через охлаждители (дословно - "охлаждающие катушки") и охлаждается до комнатной температуры, а затем выбрасывается через верхнюю часть горячих зон (коридоров). Гибкие трубы, проведенные под фальшполом, соединяются с охлаждающими катушками, расположенными в верхней части горячего участка, и уходят обратно под фальшпол.
Несмотря на длительную историю применения систем водяного охлаждения, которые использовались еще в мейнфремах IBM, некоторые управляющие современных ЦОД опасаются близкого расположения водяных труб к серверам и устройствам хранения. Многие производители встраиваемых систем охлаждения, предназначенных для установки между рядами стоек, предлагают на выбор использование охлажденной воды либо хладагента.
Кава явно доволен подходом, который использует Google, и говорит, что схема включает в себя систему обнаружения протечек и систему обеспечения отказоустойчивости на случай выхода труб из строя.
«Если в охладителе возникнет течь, вода будет капать прямо вниз и уходить под фальшпол», - говорит Кава. Он, впрочем, утверждает, что утечка воды через небольшое отверстие или разрыв катушки могут доставить определенную головную боль. «Мы уже достаточно давно используем данную схему охлаждения, и ни разу у нас не было серьезной утечки».
Упор на эффективность
Кава утверждает, что подобная схема, является существенно более эффективной, чем использование потолочных воздуховодов, по которым отработанный горячий воздух подается в системы CRAC (Computer Room Air Conditioning, шкафные прецизионные кондиционеры), расположенные по периметру фальшполов. «Такой подход неэффективен, поскольку горячий воздух перемещается на большое расстояние прежде, чем попадет в модули CRAC», - заявил Кава.
Проект систем охлаждения Google направлен на достижение максимальной эффективности – и я подразумеваю здесь не только энергоэффективность. Сюда также необходимо включить эффективность затрат на эксплуатацию. К примеру, использование пластиковых штор вместо жестких изолирующих конструкций для управления воздушным потоком в серверных помещениях.
Кастомизированные серверы Google созданы по принципу максимально открытого расположения компонентов и помещены на салазки для того, чтобы к компонентам легко было получить доступ. Это очень удобно для администраторов, которые производят замену компонентов, а также позволяет снизить затраты на обслуживание серверов.
«Когда вы выдвигаете серверную корзину, она напоминает противень для выпечки», - говорит Кава. «Это экономичный подход. Мы не используем красивые металлические корпуса».
Кава заявил, что в ближайшие недели будет опубликована дополнительная информация относительно лучших практик компании Google. «Мы планируем дополнить опубликованные фотографии серией блогов с описанием используемых нами технологий».
Фотография серверного помещения дата-центра Google в Mayes County, штат Оклахома, на которой представлены высокоэффективные серверы компании.
Дополнительные материалы
Оставить комментарий