Решения NCPI: простой конструктор или интеграторское искусство?

Продолжаем начатый в феврале (см.: «Сети и систе­мы связи». 2004. № 2. С. 45) разговор о инженерных подсистемах, необходимых для функционирования центра обработки данных (ЦОД), телекоммуникаци­онного узла или другого подобного объекта. В англо­язычной литературе объединение таких подсистем часто называют NCPI (Network Critical Physical Infrastructure), или критически важной физической инфраструктурой. Поскольку большая часть техни­ческих решений в этой области поступает к нам с Запада, будем оперировать именно «их» термином NCPI, который, возможно, пока мало знаком россий­ским специалистам.

В инфраструктуру NCPI входят десятки и даже сотни элементов. Их перечисление почти всегда на­чинают с систем электроснабжения: это коммутиру­ющее оборудование для подключения к муници­пальным электросетям, источники бесперебойного питания (ИБП), дизель-генераторы, распредели­тельные щиты, розеточные блоки и т. д. Затем, как правило, вспоминают системы климатического контроля (кондиционеры, вентиляторы, средства отопления) и безопасности (контроль доступа, охранная сигнализация, видеонаблюдение). Нельзя, конечно, забывать о монтажных шкафах и стойках, куда собственно устанавливается основное обору­дование. Чтобы все это дорогостоящее оборудова­ние вдруг не сгорело, надо предусмотреть средства противопожарной защиты. Ну, и завершим наш (далеко не полный) перечень элементов NCPI бло­ками, необходимыми для мониторинга и управле­ния инфраструктурой.

В февральском номере в основном обсуждались подходы к построению инфраструктур NCPI, кото­рые предлагают компании, известные своими ИБП и отчасти кондиционерами. Две из них, АРС и Liebert-Hiross, выпускают комплексные решения NCPI — системы InfraStruXure и Foundation соответ­ственно. В них собраны воедино аппаратные шкафы и стойки, ИБП и компоненты распределения элек­тропитания, средства кондиционирования и венти­ляции, блоки мониторинга и т. д. Поскольку все эти элементы предлагает один производитель, обеспе­чивается их 100%-ная совместимость.

Подходы других компаний — поставщиков обо­рудования можно охарактеризовать примерно так: мы предлагаем «лучшие на рынке» ИБП и/или кон­диционеры, а соединять их с другими инженерны­ми подсистемами — это уже задача наших партне­ров-интеграторов. Что же, давайте узнаем, что ду­мают по поводу NCPI интеграторы.

Руководитель отдела Департамента сетевых техно­логий компании «АйТи» Владимир Романов счита­ет, что в «первозданном» виде красивые комплекс­ные концепции типа NCPI не так часто бывают применимы на практике. Организация инженерной инфраструктуры определяется двумя базовыми факторами: ее необходимостью/достаточностью и бюджетом заказчика. Очень важно провести предва­рительный анализ обслуживаемого оборудования, с тем чтобы определить наиболее оптимальный для обеспечения его бесперебойной работы вариант: с точки зрения компонентов инженерных систем, их характеристик, степени резервирования и т. д.

- По мнению г-на Романова, для оборудования стандартной серверной комнаты или коммутатор­ной, обслуживающей одну рабочую группу, нет ника­кого смысла использовать дорогостоящую мощную систему. В этом случае достаточно минимального на­бора компонентов: кабельное хозяйство («слаботоч-ка» и «электрика»), простейшая сплит-система, си­стемы бесперебойного питания, пожаротушения, оповещения о пожаре и довольно простые средства мониторинга, как правило, уже имеющиеся в самом оборудовании. Например, в системах кондициониро­вания предусмотрена возможность оповещения в случае превышения предельно допустимой темпера­туры воздуха. Схема резервирования также опреде­ляется требованиями к надежности оборудования и планами по дальнейшему расширению. Как правило, специалисты «АйТи» используют минимум 50%-ре-зервирование по всем основным системам беспере­бойного питания, а для климатики — схему N+1.

Если же речь идет о построении физической ин­фраструктуры ЦОД на базе, скажем, мощного и очень дорогого сервера Sun Fire 15K, тогда «АйТи» рекомендует привлекать весь арсенал средств обес­печения бесперебойной работы — ИБП, сложная си­стема вентиляции и кондиционирования, системы пожарной безопасности и видеонаблюдения, мон­тажные шкафы, системы управления и мониторин­га, поддерживающие сложные алгоритмы отслежи­вания состояния оборудования и допустимых про­изводителями показателей температуры, влажности и пр. При этом, как правило, оправдано 100%-ное ре­зервирование всех систем. В случае оборудования телекоммуникационных комнат очень важно конт­ролировать не только температурный режим, но и уровень влажности, поскольку дорогое сетевое обо­рудование очень чувствительно к влажности. Соот­ветственно обоснована установка прецизионных систем кондиционирования, поддерживающих оба параметра в допустимых пределах.

Выбор конкретного производителя или модели оборудования тоже определяется характеристиками обслуживаемой системы, ну и, конечно же, бюдже­том заказчика. «АйТи» работает с такими фирмами-производителями, как АРС, Elteco, Uniflair, Daikin, Hitachi, Samsung и др.

Специалисты компании «Инсистемс», как и их кол­леги из «АйТи», ставят во главу угла соответствие инженерной инфраструктуры степени важности за­дач, выполняемых основным оборудованием. Естественно, для вычислительной системы стоимостью несколько миллионов долларов, час простоя кото­рой обойдется в соизмеримую с этой цифрой сумму, и решение надо подбирать соответствующее. В ос­новном соответствие требуется по уровню доступ­ности — он должен быть того же порядка, что и уро­вень доступности основного оборудования.

Будучи партнером корпорации АРС, компания «Инсистемс» для системы бесперебойного электро­питания предлагает использовать архитектуру InfraStruXure. По словам Юрия Колесова, директора Департамента систем электропитания «Инсистем», разное сочетание компонентов этой архитектуры позволяет доводить уровень доступности системы электропитания до 99,99999, что на сегодня являет­ся максимально используемым показателем в граж­данских приложениях. Здесь также важно выбрать такое время автономной работы, которое позволит корректно завершить работу приложений на серве­рах. Это время, как правило, не более 30 мин. Если питание необходимо поддерживать при отключени­ях энергии на более длительное время, то надо преду­смотреть наличие автономного источника, напри­мер дизель-генераторной установки (ДГУ). Одной из наиболее распространенных марок этого оборудова­ния в России является ДГУ F.G.Wilson.

Для кондиционирования серверных помещений «Инсистемс» рекомендует прецизионные системы. Точность, с которой они поддерживают температуру составляет порядка 1 °С (в отдельных случаях до 0,3 °С), лучшее же, чего можно ожидать от комфорт­ных систем кондиционирования бытового класса, — это 5 °С. Алексей Шапошников, директор Департа­мента систем кондиционирования воздуха и холо­дильных систем «Инсистемс», приводит много аргу­ментов в пользу прецизионных систем. Не на по­следнем месте здесь стоит и расчетный срок службы оборудования. Для систем бытового класса этот по­казатель определяется исходя из их предназначения — поддержание заданных параметров микроклимата в офисных помещениях. Как правило, подобные си­стемы включаются тогда, когда в офисе находятся люди: 8 ч в день, 5 дней в неделю, причем только в жаркое время года. Среднегодовая эксплуатация в таком режиме составляет в среднем 1200 ч, а срок службы оборудования не более 5 лет. Прецизионные системы предназначены для обеспечения необходи­мых параметров микроклимата в технологических помещениях 24 ч в сутки, 7 дней в неделю, 365 дней в году, или 8760 ч в год. Расчетный срок службы обо­рудования такого класса — не менее 10 лет.

Из широкой гаммы дополнительного оборудо­вания инженерной инфраструктуры специалисты «Инсистемс» выделяют устанавливаемые в 19-дюй­мовые шкафы системы немецкой фирмы Schroff для управления и наблюдения за климатом и состо­янием оборудования. Это датчики температуры, влажности, концевые контакты для мониторинга состояния дверей, аварийные датчики (в частности, задымления и вибрации), а также средства контро­ля за состоянием питающих напряжений. Система Schroff имеет широкие возможности по передаче данных и поддерживает стандартные протоколы (HTTP, FTP, SMS, SMTP/POP3, SNMP и Telnet). Про­граммное обеспечение дополнительно позволяет сохранять в архиве событий изображения с Web-ка­меры, например помещая фотографию сотрудника вместе с записью об открытии двери.

Директор Департамента автоматизации инженерных систем компании «Крок» Александр Ласый в каче­стве примера модульного решения от одного произ­водителя приводит продукт фирмы Lampertz (техно­логия «дом в доме»). Это законченный, полнофунк­циональный модуль критичного ИТ-помещения, встраиваемого в существующее здание. Однако ши­рокому внедрению данной технологии пока препят­ствует высокая цена. Решение же, сформированное из продуктов разных фирм, считает г-н Ласый, обыч­но дешевле и обеспечивает превосходную гибкость — его легко «настроить» под предпочтения и финансо­вые возможности практически любого клиента.

Для систем электроснабжения ИТ-комплексов «Крок» применяет в основном ИБП с внутренним резервированием (модульные) фирм АРС и Liebert-Hiross, а также ИБП с «внешним» резервированием (параллельные) фирм General Electric и Liebert-Hiross. Иногда используется двухуровневое резерви­рование: центральный ИБП резервируется источни­ками второго уровня малой мощности, размещен­ными непосредственно в телекоммуникационных шкафах. Системы технологического кондициониро­вания компания «Крок» предпочитает строить на основе прецизионных автономных кондиционеров с регулированием температурного и влажностного режимов производства Liebert-Hiross. В виде исклю­чения, для особо малобюджетных решений, система технологического кондиционирования может со­здаваться с применением надежных бытовых сплит-систем (например, оборудования Daikin).

«Крок» уделяет большое внимание организа­ции системы контроля и управления доступом. Такая система позволяет, во-первых, физически ограничивать доступ в серверную комнату, пропу­ская туда людей на основании их персональных идентификаторов (бесконтактных proximity-карт, карт с магнитной полосой, ключей touch-memory и др.), а во-вторых, вести различную статистику (кто из пользователей находился в серверной, когда осуществлялись попытки несанкционированного доступа и т. п.). При повышенных требованиях к безопасности возможно применение биомет­рической системы, которая идентифицирует поль­зователя по таким признакам, как отпечаток пальца, геометрия ладони, сетчатка глаза. Система доступа для серверной комнаты может быть пол­ностью автономной, обслуживающей только кон­кретное помещение, а может вхо­дить в состав общей системы кон­троля доступа всего здания.

Еще одним современным сред­ством системы контроля является IP-видеонаблюдение. Оно может обеспечивать постоянный видео­контроль ситуации в серверной комнате и выполнять функции охранной сигнализации. При по­лучении сигнала от внешнего охранного датчика (пассивного инфракрасного датчика движения, магнитоконтактного датчика или любого другого) или при срабаты­вании встроенного детектора дви­жения видеокамера может переда­вать видеоснимок по сети или по электронной почте, включать внешнюю сирену или другое опо­вещающее устройство. Сетевая ви­деокамера — это единственный компонент, который необходим для организации IP-видеонаблюдения, она устанавливается в лю­бом месте, где есть подключение к IP-сети или модем. В качестве обо­рудования 1Р-видеонаблюдения «Крок» применяет сетевые видео­камеры компании AXIS (Швеция).

Среди решений для монито­ринга параметров окружающей среды Александр Ласый выделяет оборудование американской ком­пании NetBotz, которое выполняет два типа функций: собственно мо­ниторинг и IP-видеонаблюдение. Интеллектуальные модули систе­мы, устанавливаемые в любом ме­сте помещения, в том числе и в шкафах с оборудованием, могут выдавать не только видеоизобра­жение, но и информацию о темпе­ратуре, влажности, уровне шума, протечках, задымленное, каче­стве электроэнергии, данные с датчиков движения, открытия/закрытия дверей и пр. Если какой-либо параметр превышает допустимые пределы, будет отправлено тревожное сообщение, например, по сети, либо SMS-сообщение.

Специалисты компании NeuHaus Group не реко­мендуют экономить на климатических системах и устанавливать бытовые кондиционеры вместо промышленных. Именно для того чтобы охлажде­ние было применено не вообще в помещении, а на тех узлах агрегатов, где особенно необходимо, сле­дует использовать прецизионные кондиционеры. Совмещение же прецизионных климатических си­стем с бытовыми, как правило, крайне нежела­тельно, поскольку оно может привести к работе кондиционеров двух разных типов друг против друга: например, один осушает воздух, другой — наоборот, увлажняет. Подобная «климатическая война» повлечет за собой снижение общих пока­зателей надежности систем и ускорит выработку их ресурсов.

Что же касается возможной «электрической» составляющей NCPI, то здесь привлекает внима­ние недавно анонсированная компанией Liebert-Hiross новая серия ИБП — NXa. Как отмечает ру­ководитель отдела продаж и мар­кетинга NeuHaus Group Игорь Андрющенко, она интересна не только собственно характери­стиками, касающимися защиты электропитания, но и новым подходом к охлаждению внутриблочного пространства. В ча­стности, в источниках NXa хо­лодный воздух поступает спе­реди источника, а нагретый отводится сверху. При этом нет необходимости в вентиляцион­ных зазорах с боковых сторон и сзади блока. Такой конструктив, существенно упрощая подвод охлаждающих потоков воздуха, предоставляет проектировщи­кам больше возможностей при встраивании NXa в систему NCPI. Использование же много­численных термодатчиков, в том числе и внутри батарейных шка­фов, позволит своевременно по­лучать реальную картину темпе­ратурного режима работы, а так­же предусмотреть возможности дополнительного обдува при ра­боте в критических условиях.

В последнее время задачи по проектированию ЦОД нередко включают в себя не только расчеты привычной «начинки» — система бесперебойного электропитания (СБЭ), кондиционер, монтажные стойки, — но также организацию системы удаленной диспетчери­зации всего работающего обору­дования. Более того, явственно просматриваются тенденции ин­теграции систем мониторинга СБЭ в единые схемы диспетчериза­ции инженерных систем всего зда­ния. Учитывая эту тенденцию, про­изводители оборудования СБЭ в своих системах мониторинга все чаще используют протоколы SNMP, Modbus/Jbus, LonWorks, HTTP.

Примером создания единой системы диспетчерского управ­ления (АСДУ) инженерным обо­рудованием является проект, выполненный компанией NeuHaus Group в здании Централь­ного Банка РФ, которое располо­жено в Москве на ул. Житная. Разработанная АСДУ собирает и обрабатывает информацию о со­стоянии инженерных систем здания, а также управляет цент­ральными кондиционерами и приточными установками, холо­дильными машинами, узлами водоподготовки, пожарными на­сосами и насосами хозяйствен­ной воды, системой электро­снабжения здания.

Построенная распределенная система диспетчеризации состо­ит из сетевой инфраструктуры, выделенного серве­ра и рабочих мест диспетчеров и специалистов службы эксплуатации здания. Все подключенное оборудование компаний ТАС, SAIA Burgess, Continental Control Systems и Echelon имеет сред­ства коммуникации стандарта LonWorks, что и по­зволило интегрировать его в единую сеть управле­ния и мониторинга.

«Изюминкой» спроектированной NeuHaus Group системы является графический интерфейс оператора с элементами анимации: движущиеся и вращающиеся объекты, изменение цвета, цифро­вые индикаторы и т. п. Система способна автома­тически самодиагностировать каналы связи и контроллеры автоматики. Естественно, в ней предусмотрены необходимые средства защиты от несанкционированного доступа и разграничения полномочий операторов.

В рамках проекта разработана система автомати­ки, контролирующая электроснабжение здания. Благодаря автоматическому контролю и коррекции включенной нагрузки обеспечивается более эффек­тивная эксплуатация силовых трансформаторов на вводах в здание, что позволяет преодолеть опреде­ленные ограничения на максимально допустимую суммарную мощность потребителей электроэнер­гии. Контроллеры автоматики в реальном времени отслеживают изменяющуюся топологию сети элек­троснабжения, и в случае приближения перегрузки любого из четырех трансформаторов отключают низкоприоритетные нагрузки.

По всей видимости, объединение самых разнооб­разных инженерных систем в единые управляемые комплексы в самое ближайшее время из чего-то экзотического превратится в типовые проекты. В этом случае решение NCPI станет просто частью глобального проекта автоматизации высокотехно­логичного здания.

Но вернемся к тому, с чего мы начали, к объек­там типа ЦОД. Для организации их инженерной ин­фраструктуры имеется по меньшей мере две инте­грированные платформы — InfraStruXure компа­нии АРС и Foundation компании Liebert-Hiross. Они помогут решить задачу в том случае, если все обору­дование сосредоточено в одном месте и монтиру­ется в стандартные стойки. Но обеспечат ли такие платформы должную гибкость и будут ли они де­шевле решений, составленных из продуктов разных фирм? Ответить на этот вопрос можно лишь, зная специфику конкретного проекта.

В случае же «распределенных» проектов, когда, например, необходима защита электропитания все­го здания, со множеством разбросанных по этажам рабочих станций и других электронных устройств, требуются другие подходы, с привлечением продук­ции нескольких фирм-производителей. И как убе­дили нас компании-интеграторы, организация се­рьезного комплекса инженерных систем — это пока еще отнюдь не простая задача типа сборки кон­структора «лего».