ЦОД в лаборатории CERN возле большого адронного коллайдера

ЦОД "Tier Zero" вычислительного центра CERN (The European Organization for Nuclear Research, Европейский центр ядерных исследований) расположен в том же месте, где и большой адронный коллайдер (LHC, Large Hadron Collider), высокомощный ускоритель частиц, размещенный в 27-километровом туннеле между Швейцарией и Францией, недалеко от Женевы. Проект, оцениваемый в 7,5 млрд евро, призван доказать или развить несколько ключевых теорий в области физики элементарных частиц.

Шесть детекторов размещены на большом адроном коллайдере. Каждый отвечает за определенные серверы, и в режиме реального времени фильтрует результаты столкновения частиц, происходящие каждые 25 наносекунд. Оттуда результаты, которые могут представлять интерес, отправляются в ЦОД CERN.

ЦОД CERN или "Tier Zero" был построен в 1970-х. Его высокие потолки ранее вмещали рабочие станции и "конвееры" для передачи катушки магнитной ленты между двух этажей. Сегодня он представляет собой центральную станцию архитектуры Grid большого адронного коллайдера, которая контролирует свыше 160 вычислительных машин по всему миру.

В фойе ЦОДа имеется карта Google Earth для задач, отправляемых из ЦОД CERN Tier 0 в Женеве в порядка десяти ЦОДов уровня Tier 1 (для обработки данных почти в реальном времени) и более 150 ЦОДов уровня Tier 3 (для группового анализа).

Ежедневно отправляется около 1,5 млн. задач. Даже когда LHC не работает, аналитики запрашивают доступ к старым данным для проверки новых теорий.

Ядро вычислительной сети большого адронного коллайдера - это ряды дисков и процессоров. Оно практически полностью построено из вычислительного оборудования, а не сложных суперкомпьютеров. Промежуточное ПО не только распределяет рабочие места, но и учитывает какие вычислительные ресурсы и какие эксперименты были использованы.

Вычислительные мощности большого адронного коллайдера занимает большую часть площади CERN. Многое оборудование (генераторы, телекоммуникационное оборудование) находится снаружи, а ИБП - в подвальном помещении.

ЦОД CERN имеет более 60 тыс. ядер и приблизительно 60 тыс.дисков.

Объект также имеет около 600 подключений по 10 гигабит в секунду.

Каждая система (сервер) имеет соединение 1 гигабит в секунду, и по 10Гб/с-каналу подключено к главному маршрутизатору, который может похвастаться скоростью передачи данных 7-8 Тбит/с.

CERN - однои из первых мест в Европе, где стали использовать Интернет. Сотрудники пользуются им с начала 1980-х  гг., когда он представлял собой научное исследование.

Таким образом, ЦОД Tier Zero стал одним из первых цифровых АТС - местом, где несколько провайдеров устанавливают свое оборудование, чтобы соединиться с другими провайдерами. Этот рывок вперед отозвался эффектом снежного кома, и Tier Zero остается популярным пунктом для провайдеров.

CERN в настоящее время модернизирует свою инфраструктуру маршрутизаторов для поддержки постоянного соединения с новым объектом, который строится в Будапеште (Венгрия). На изображении видна часть магистрали для будущей сети и самого ускорителя.

Нижний этаж первоначально был ленточной библиотекой, подсоединенной ко второму этажу с помощью конвейера. Операторы на верхнем этаже посылали вниз запрос на конкретные ленты, а операторы на нижнем этаже забирали его из стойки и ставили на конвейер.

Сейчас на этом нижнем этаже в основном хранят диски и ленты.

CERN использует ленточные системы хранения данных для долгосрочного архивирования. На ленте здесь хранится около 60 петабайт данных.

Устройство по работе с лентой, изображенное здесь, принимает запросы от серверов сверху, после чего начинает ездить вверх и вниз, сканируя штрих-коды, прикрепленные к картриджам, в поисках нужного, после чего монтирует соответствующий картридж.

CERN в настоящее время придерживается трёх производителей ленточных систем хранения данных - IBM, StorageTek и SpectraLogic. "Мы предпочитаем иметь несколько поставщиков на один тип оборудования", сказал Дэвид Фостер, заместитель директора IT в CERN.

На нижнем этаже также расположено вычислительное облако Linux для использования сотрудниками CERN и партнеров. В CERN работают 2250 сотрудников, но ИТ-команда обслуживает около 8000 пользователей, включая студентов и сотрудников, работающих там с экспериментами LHC.

Поскольку стоимость диска с течением времени упала, сейчас CERN имеет уже не менее 20 петабайт дисков (против 60 петабайт ленты). Большая часть рабочих мест может быть сохранена на диск, а остальная добавлена в архив на ленту для долгосрочного хранения. Но команде специалистов все же нужно постоянно переносить данные с ленты на диск.

Дэвид Фостер (David Foster), заместитель директора IT в CERN, в ЦОД Tier Zero

CERN в основном использует NAS-устройство, а не сеть хранения SAN. Последняя исторически всегда имела дорогую, специализированную инфраструктуру, такую как оптоволоконный канал, а не стандартную сеть Ethernet.

CERN также имеет свою систему хранения CASTOR, в которой в настоящее время хранится около 500 миллионов файлов, и которая принимает два петабайта исходных данных в месяц, или около 24 петабайт в год.

Как наглядно демонстрируют полупустые стойки  на этом снимке, не площадь машинных залов является ограничивающим фактором в ЦОДе CERN, а электропитание.

Большое количество энергии, необходимое для экспериментов LHC, оставляет всего 3,4 МВт для нужд ЦОД. ЦОД работал на полной мощности в течение некоторого времени, но скоро станет доступен ЦОД мощностью 2,5 МВт в Будапеште (Венгрия).

Tier Zero включает центр управления 24x7, откуда ИТ-команда планирует удаленно управлять всеми операциями в новом ЦОДе Wigner (Будапешт, Венгрия), первая комната которого начнет работать до конца 2012 года.

Вся инфраструктура будет поддерживаться из Женевы.

ЦОД CERN также презентует инновации от партнеров проекта "OpenLab". В настоящее время HP, Intel, Oracle, Siemens и Huawei занимаются ранее утвержденными программами с CERN.

Теги:
#Опыт ЦОД

Оставить комментарий

Ваше имя:
E-mail:
(Не обязательно)
Текст комментария:
Введите код с картинки:  

Дополнительные материалы

Можно ли зимой включать кондиционер на обогрев

Вытяжка в стену: как подобрать и правильно сделать своими руками

3 способа сделать увлажнитель воздуха для квартиры и дома своими руками

Всё самое важное про турбодефлекторы: что такое, принцип работы, внешний вид, как подобрать

Вентиляция в квартире: самое полное руководство простым языком

Встраиваемая вытяжка на кухне: важные нюансы по устройству и подключению

Вытяжка в дачном туалете: как сделать правильно своими руками

Вентиляция гаража: как сделать правильно своими руками

Комментарии читателей

igor

очень интересно. Спасибо.