Система долговременного хранения информации Cold Storage от компании Facebook

Обслуживание инфраструктуры ЦОД для такой крупной компании, как Facebook, предполагает решение задач совершенно нового типа. Одной из таких задач является хранение огромного объема данных, загружаемых пользователями на сервера компании, и обеспечение мгновенной доступности этих данных.

При этом, необходимо оставаться в рамках бюджета, выделяемого на организацию систем хранения данных. Инженеры Facebook изучили статистику доступа к пользовательским файлам и пришли к выводу, что мгновенная доступность не является обязательным условием для всех загружаемых файлов. Для большей части данных рано или поздно наступает момент, когда пользователи практически перестают получать к ним доступ.

Модифицированная серверная стойка Open Rack для системы Cold Storage.

Технические специалисты Facebook приняли решение о создании отдельной системы хранения информации, оптимизированной с точки зрения объема и стоимости, а не производительности и доступности. Загружаемые файлы попадают в систему после того, как завершается пик пользовательской активности в отношении этих файлов. Facebook строит для этой системы отдельное здание рядом с главным ЦОД Prineville, расположенным г. Прайнвилл, штат Орегон. Система получила название Cold Storage (долговременное хранение информации). Стивен Чан, менеджер Facebook по техническим программам, рассказал посетителям проходившего в силиконовой долине мероприятия Open Compute Summit об особенностях используемых в компании систем долговременного хранения информации.

Модифицированная система хранения информации Open Vault

Cold Storage разрабатывается на базе созданной инженерами Facebook системы хранения Open Vault, которая используется в дата-центрах компании. Модуль Open Vault представляет собой серверное шасси высотой 2U, в которое можно установить до 30 дисков. Шасси Open Vault устанавливаются в разрабатываемых инженерами компании серверных стойках типа Open Rack. Спецификации для серверных стоек были выложены в открытый доступ в рамках проекта Open Compute Project. Стойки Open Rack были модифицированы для использования в системе хранения Cold Storage.

Основной целью проектирования новой системы было снижение энергопотребления и сокращение стоимости хранения информации вместе с увеличением плотности ее размещения, утверждает Чан. Одним из методов снижения энергопотребления стало сокращение числа головных узлов (head node), предназначенных для управления серверами. Используемая в системе долговременного хранения стойка Open Rack включает в себя два головных узла, каждый из которых контролирует восемь модулей типа Open Vault.

Количество используемых дисков, напротив, было увеличено с 270 до 480 штук. Это позволяет хранить в каждой стойке до двух петабайт данных. Инженеры смогли разместить дополнительные диски за счет сокращения числа головных узлов и использования одной секции питания (power shelf) вместо трех. Секция питания обеспечивает питанием расположенные в стойке сервера. Секция питания в системе Cold Storage включает в себя семь блоков питания с возможностью горячей замены, обеспечивающих избыточность по схеме 6+1.

Механизм доступа к данным был настроен таким образом, что одновременно в стойке вращается только 32 из 480 дисков: по одному диску в каждой корзине. Это позволило еще более значительно снизить энергопотребление. Поскольку доступ к файлам осуществляется редко, неиспользуемые диски отключаются. Система долговременного хранения допускает подобную гибкость. Инженеры определили, что время ожидания доступа к старому файлу, равное времени раскрутки диска, является приемлемым, утверждает Чан. В результате, общее энергопотребление стойки было снижено до 2кВт, что в 4 раза меньше аналогичного показателя для стандартных серверных стоек компании.

Одним из факторов, влияющих на стоимость хранения информации, является тип используемых устройств хранения. Специалисты Facebook должны были найти недорогое решение, которое могло бы использоваться в многодисковой среде. В системе Cold Storage используются диски SATA, которые не рассчитаны на постоянную эксплуатацию, но могут легко менять скорость вращения. Они не обладают высокой устойчивостью к колебаниям, не оснащаются акселерометрами и не поддерживают горячую замену. Если один из них выходит из строя, технический специалист отключает систему и меняет диск вручную.

Резервное хранилище не резервируется

Серверные стойки в системе долговременного хранения информации не оснащаются традиционными схемами резервного питания, такими, как ИБП и дизель-генераторы. Они не подключаются к 48В батарейным шкафам, которые используются в качестве источников резервного питания в главных ЦОД компании. Система Cold Storage является резервным хранилищем информации и, по словам Чана, резервировать ее нет необходимости.

Специалисты компании решили разместить Cold Storage в отдельном здании в связи с низким энергопотреблением стоек при высокой плотности их размещения. Согласно их расчетам, для питания массива дисков емкостью один экзабайт при размещении в ЦОД Prineville потребовалось бы около 1,5МВт. В дата-центре достаточно быстро закончилось бы свободное пространство, говорит Чен. Здание, в котором размещается система долговременного хранения, представляет собой максимально облегченную прямоугольную коробку. На бетонных плитах устанавливаются стойки весом 1300кг, объединенные в горячие коридоры.

Подобно библиотекарю, который уходит вглубь книжных полок, чтобы найти нужную вам книгу, сервера Facebook тратят несколько секунд для того, чтобы вы смогли получить доступ к фотографии, сделанной в отпуске три года назад. Программное обеспечение Facebook должно обратиться к системе долговременного хранения информации и, возможно, раскрутить жесткий диск прежде, чем изображение появится на экране вашего устройства.

Теги:
#ЦОД в целом

Оставить комментарий

Ваше имя:
E-mail:
(Не обязательно)
Текст комментария:
Введите код с картинки:  

Дополнительные материалы

ПРОФЕССИОНАЛЬНОЕ обучение проектированию систем вентиляции и кондиционирования

Можно ли зимой включать кондиционер на обогрев

Вытяжка в стену: как подобрать и правильно сделать своими руками

3 способа сделать увлажнитель воздуха для квартиры и дома своими руками

Всё самое важное про турбодефлекторы: что такое, принцип работы, внешний вид, как подобрать

Вентиляция в квартире: самое полное руководство простым языком

Встраиваемая вытяжка на кухне: важные нюансы по устройству и подключению

Вытяжка в дачном туалете: как сделать правильно своими руками