In English

Кластер в «облаках»

01.06.2011, Стародумов Артем
Издание: CIO
На повышение уровня использования технологий параллельных и распределенных вычислений в образовательной и научно-исследовательской деятельности, а также на их ускоренное внедрение в промышленность России направлена программа «Университетский кластер», учредителями которой являются ИСП РАН, МСЦ РАН, HP и компания «Синтерра». Среда моделирования распределенных вычислительных систем разрабатывается, в частности, в ИСП РАН в рамках работ по параллельным вычислениями и GRID-технологиям.

В рамках программы «Университетский кластер» создана технологическая платформа исследований, разработок и образования в области параллельных и распределенных вычислений (www.unihub.ru). Она объединяет в концепции «облачных» вычислений такие возможности, как доступ к ресурсам (суперкомпьютеры, хранилища данных, центры компетенции), передача знаний (лекции, семинары, лабораторные работы) и механизмы, поддерживающие деятельность сообществ профессионалов в специализированных областях. В частности, платформа позволяет создавать предметно ориентированные веб-лаборатории.

На базе существующей платформы и в рамках участия в проекте OpenCirrus уже развернуты и предлагаются участникам программы «Университетский кластер» вычислительные службы самого разного уровня: Physical Resource Set (аппаратура как сервис; Elastic Compute («инфраструктура как сервис»), группа сервисов, обеспечивающих работу с большими распределенными массивами данных. Помимо служб, реализованных в составе испытательного стенда проекта OpenCirrus. предоставляются несколько базовых сервисов.

На созданной технологической платформе UniHUB в рамках программы «Университетский кластер» ИСП РАН совместно с компанией HP развернули веб-лабораторию, которая ориентирована на решение задач механики сплошных сред (МСС). В рамках этой лаборатории обеспечивается доступ в концепции «облачных» вычислений к стеку свободного ПО (на базе пакетов SALOME,OpenFOAM, ParaView), который может быть использован для выполнения полного цикла работ при решении МСС-задач.

Исследователи организаций – участников программы «Университетский кластер» имеют возможность реализовывать собственные некоммерческие образовательные и научно-исследовательские проекты с использованием испытательных стендов и сервисов, развернутых на базе вычислительной платформы программы. Кроме того, участники могут быть инициаторами развертывания собственных испытательных стендов или сервисов на базе технологической платформы программы.

«Можно сказать, – резюмирует научный сотрудник НОЦ системного программирования ИСП РАН Олег Самоваров, – что речь идет не о перспективах по налаживанию взаимодействия между российскими суперкомпьютерами в плане обмена мощностями и планах по развитию «облачных» вычислений на федеральном или межвузовском уровне, а о реальных шагах в рамках совместной инициативной программы и уже существующей технологической платформе, которая позволяет решать все эти задачи».

Однако взаимодействие между российскими суперкомпьютерами в плане совместного использования процессорных мощностей упирается в серьезные административные и технические ограничения. «Основная проблема в создании GRID-систем в нашей стране, – отмечает Самоваров, – это отсутствие линий связи между разными ЦОД с нужной пропускной способностью и надежностью».

Еще при создании компанией «АйТи» в конце 2007 года в Уфимском государственном авиационно-техническом университете (УГАТУ) суперкомпьютера обсуждались перспективы налаживания взаимодействия между вузами по обмену мощностями, с целью повысить эффективность капиталовложений – сократить потребность в суперкомпьютерах, а их нагрузку сделать более равномерной. «На тот момент соответствующих технологий на рынке еще не было, – поясняет технический директор департамента инфраструктурных решений в московском офисе компании «АйТи» Андрей Синяченко, – а сейчас эти технологии присутствуют, и, возможно, в будущем ресурсы разных дата-центров будут интегрироваться».

Это достигается за счет использования технологий «облачных» вычислений, когда каждый вуз может иметь свое частное «облако» и интегрировать его в единый ресурсный пул при помощи внешнего оператора.

«Проблема в том, – подводит итог Синяченко, – что пока на рынке нет оператора, который гарантированно мог бы объединить такие ресурсы».

В качестве примера: процессорная загрузка СК УГАТУ, запущенного в эксплуатацию в начале 2008 года, сегодня составляет 50-70%. С 2009 года проводятся работы по программе «Скиф-Грид» с целью налаживания взаимодействия между российскими суперкомпьютерами по обмену мощностями. В настоящее время около 10-20% процессорных мощностей СК УГАТУ используется участниками программы из других университетов.

Направление развития


Андрей Юдин, HP, выделяет несколько тенденций, характерных для отрасли СК.

1. Стандартизация и унификация: отказ от проприетарных, закрытых решений в пользу широко распространенных индустриально признанных программных и аппаратных компонентов (используемых в том числе для обычных ИТ-систем). «К примеру, – говорит Юдин, – в настоящее время уже более 90% суперкомпьютерных комплексов из списка Топ-500 используют системы на базе архитектуры х86, более 80% – применяют в качестве интерконнекта Infiniband или Ethernet, более 90% систем используют ОС Linux».

2. Индустриализация: в отличие от 1 990-х годов, многие заказчики хотят получить вычислительный комплекс, готовый к эксплуатации, а не набор аппаратных блоков, из которых предстоит строить вычислительный комплекс и потом решать проблемы совместимости системного и прикладного ПО, оборудования.

3. Появление персональных суперкомпьютеров. В настоящее время для широкого круга задач не обязательно строить большие суперкомпьютерные центры обработки данных. Для решения какой-то задачи вполне может хватить современной вычислительной станции, способной разместиться на столе у пользователя, либо установки относительно небольшого комплекса на уровне отделов.

4. Использование вычислительных сопроцессоров, которые позволяют значительно повысить эффективность вычислительных расчетов.

5. Диверсификация – использование СК во все большем количестве отраслей человеческой деятельности.

6. Применение систем высокой плотности (примером может служить HP BladeSystem c-class и Scale-Out систем SL6500s).

Центральный федеральный округ