18.04.2001, Барсков Александр
Издание:
Сети и системы связи
Будучи «фундаментом» для информационных и телекоммуникационных комплексов, инженерные подсистемы все чаще сами становятся «клиентами» таких комплексов, связывающих их в единые схемы управления и диспетчеризации.
Продолжаем начатый в феврале (см.: «Сети и системы связи». 2004. № 2. С. 45) разговор о инженерных подсистемах, необходимых для функционирования центра обработки данных (ЦОД), телекоммуникационного узла или другого подобного объекта. В англоязычной литературе объединение таких подсистем часто называют NCPI (Network Critical Physical Infrastructure), или критически важной физической инфраструктурой. Поскольку большая часть технических решений в этой области поступает к нам с Запада, будем оперировать именно «их» термином NCPI, который, возможно, пока мало знаком российским специалистам.
В инфраструктуру NCPI входят десятки и даже сотни элементов. Их перечисление почти всегда начинают с систем электроснабжения: это коммутирующее оборудование для подключения к муниципальным электросетям, источники бесперебойного питания (ИБП), дизель-генераторы, распределительные щиты, розеточные блоки и т. д. Затем, как правило, вспоминают системы климатического контроля (кондиционеры, вентиляторы, средства отопления) и безопасности (контроль доступа, охранная сигнализация, видеонаблюдение). Нельзя, конечно, забывать о монтажных шкафах и стойках, куда собственно устанавливается основное оборудование. Чтобы все это дорогостоящее оборудование вдруг не сгорело, надо предусмотреть средства противопожарной защиты. Ну, и завершим наш (далеко не полный) перечень элементов NCPI блоками, необходимыми для мониторинга и управления инфраструктурой.
В февральском номере в основном обсуждались подходы к построению инфраструктур NCPI, которые предлагают компании, известные своими ИБП и отчасти кондиционерами. Две из них, АРС и Liebert-Hiross, выпускают комплексные решения NCPI — системы InfraStruXure и Foundation соответственно. В них собраны воедино аппаратные шкафы и стойки, ИБП и компоненты распределения электропитания, средства кондиционирования и вентиляции, блоки мониторинга и т. д. Поскольку все эти элементы предлагает один производитель, обеспечивается их 100%-ная совместимость.
Подходы других компаний — поставщиков оборудования можно охарактеризовать примерно так: мы предлагаем «лучшие на рынке» ИБП и/или кондиционеры, а соединять их с другими инженерными подсистемами — это уже задача наших партнеров-интеграторов. Что же, давайте узнаем, что думают по поводу NCPI интеграторы.
КАКОВ БЮДЖЕТ, ТАКОВ И ПРОЕКТ
Руководитель отдела Департамента сетевых технологий компании «АйТи» Владимир Романов считает, что в «первозданном» виде красивые комплексные концепции типа NCPI не так часто бывают применимы на практике. Организация инженерной инфраструктуры определяется двумя базовыми факторами: ее необходимостью/достаточностью и бюджетом заказчика. Очень важно провести предварительный анализ обслуживаемого оборудования, с тем чтобы определить наиболее оптимальный для обеспечения его бесперебойной работы вариант: с точки зрения компонентов инженерных систем, их характеристик, степени резервирования и т. д.
- По мнению г-на Романова, для оборудования стандартной серверной комнаты или коммутаторной, обслуживающей одну рабочую группу, нет никакого смысла использовать дорогостоящую мощную систему. В этом случае достаточно минимального набора компонентов: кабельное хозяйство («слаботоч-ка» и «электрика»), простейшая сплит-система, системы бесперебойного питания, пожаротушения, оповещения о пожаре и довольно простые средства мониторинга, как правило, уже имеющиеся в самом оборудовании. Например, в системах кондиционирования предусмотрена возможность оповещения в случае превышения предельно допустимой температуры воздуха. Схема резервирования также определяется требованиями к надежности оборудования и планами по дальнейшему расширению. Как правило, специалисты «АйТи» используют минимум 50%-ре-зервирование по всем основным системам бесперебойного питания, а для климатики — схему N+1.
Если же речь идет о построении физической инфраструктуры ЦОД на базе, скажем, мощного и очень дорогого сервера Sun Fire 15K, тогда «АйТи» рекомендует привлекать весь арсенал средств обеспечения бесперебойной работы — ИБП, сложная система вентиляции и кондиционирования, системы пожарной безопасности и видеонаблюдения, монтажные шкафы, системы управления и мониторинга, поддерживающие сложные алгоритмы отслеживания состояния оборудования и допустимых производителями показателей температуры, влажности и пр. При этом, как правило, оправдано 100%-ное резервирование всех систем. В случае оборудования телекоммуникационных комнат очень важно контролировать не только температурный режим, но и уровень влажности, поскольку дорогое сетевое оборудование очень чувствительно к влажности. Соответственно обоснована установка прецизионных систем кондиционирования, поддерживающих оба параметра в допустимых пределах.
Выбор конкретного производителя или модели оборудования тоже определяется характеристиками обслуживаемой системы, ну и, конечно же, бюджетом заказчика. «АйТи» работает с такими фирмами-производителями, как АРС, Elteco, Uniflair, Daikin, Hitachi, Samsung и др.
С ТОЧНОСТЬЮ ДО ДЕСЯТЫХ ДОЛЕЙ ГРАДУСА
Специалисты компании «Инсистемс», как и их коллеги из «АйТи», ставят во главу угла соответствие инженерной инфраструктуры степени важности задач, выполняемых основным оборудованием. Естественно, для вычислительной системы стоимостью несколько миллионов долларов, час простоя которой обойдется в соизмеримую с этой цифрой сумму, и решение надо подбирать соответствующее. В основном соответствие требуется по уровню доступности — он должен быть того же порядка, что и уровень доступности основного оборудования.
Будучи партнером корпорации АРС, компания «Инсистемс» для системы бесперебойного электропитания предлагает использовать архитектуру InfraStruXure. По словам Юрия Колесова, директора Департамента систем электропитания «Инсистем», разное сочетание компонентов этой архитектуры позволяет доводить уровень доступности системы электропитания до 99,99999, что на сегодня является максимально используемым показателем в гражданских приложениях. Здесь также важно выбрать такое время автономной работы, которое позволит корректно завершить работу приложений на серверах. Это время, как правило, не более 30 мин. Если питание необходимо поддерживать при отключениях энергии на более длительное время, то надо предусмотреть наличие автономного источника, например дизель-генераторной установки (ДГУ). Одной из наиболее распространенных марок этого оборудования в России является ДГУ F.G.Wilson.
Для кондиционирования серверных помещений «Инсистемс» рекомендует прецизионные системы. Точность, с которой они поддерживают температуру составляет порядка 1 °С (в отдельных случаях до 0,3 °С), лучшее же, чего можно ожидать от комфортных систем кондиционирования бытового класса, — это 5 °С. Алексей Шапошников, директор Департамента систем кондиционирования воздуха и холодильных систем «Инсистемс», приводит много аргументов в пользу прецизионных систем. Не на последнем месте здесь стоит и расчетный срок службы оборудования. Для систем бытового класса этот показатель определяется исходя из их предназначения — поддержание заданных параметров микроклимата в офисных помещениях. Как правило, подобные системы включаются тогда, когда в офисе находятся люди: 8 ч в день, 5 дней в неделю, причем только в жаркое время года. Среднегодовая эксплуатация в таком режиме составляет в среднем 1200 ч, а срок службы оборудования не более 5 лет. Прецизионные системы предназначены для обеспечения необходимых параметров микроклимата в технологических помещениях 24 ч в сутки, 7 дней в неделю, 365 дней в году, или 8760 ч в год. Расчетный срок службы оборудования такого класса — не менее 10 лет.
Из широкой гаммы дополнительного оборудования инженерной инфраструктуры специалисты «Инсистемс» выделяют устанавливаемые в 19-дюймовые шкафы системы немецкой фирмы Schroff для управления и наблюдения за климатом и состоянием оборудования. Это датчики температуры, влажности, концевые контакты для мониторинга состояния дверей, аварийные датчики (в частности, задымления и вибрации), а также средства контроля за состоянием питающих напряжений. Система Schroff имеет широкие возможности по передаче данных и поддерживает стандартные протоколы (HTTP, FTP, SMS, SMTP/POP3, SNMP и Telnet). Программное обеспечение дополнительно позволяет сохранять в архиве событий изображения с Web-камеры, например помещая фотографию сотрудника вместе с записью об открытии двери.
УПРАВЛЕНИЕ И КОНТРОЛЬ
Директор Департамента автоматизации инженерных систем компании «Крок» Александр Ласый в качестве примера модульного решения от одного производителя приводит продукт фирмы Lampertz (технология «дом в доме»). Это законченный, полнофункциональный модуль критичного ИТ-помещения, встраиваемого в существующее здание. Однако широкому внедрению данной технологии пока препятствует высокая цена. Решение же, сформированное из продуктов разных фирм, считает г-н Ласый, обычно дешевле и обеспечивает превосходную гибкость — его легко «настроить» под предпочтения и финансовые возможности практически любого клиента.
Для систем электроснабжения ИТ-комплексов «Крок» применяет в основном ИБП с внутренним резервированием (модульные) фирм АРС и Liebert-Hiross, а также ИБП с «внешним» резервированием (параллельные) фирм General Electric и Liebert-Hiross. Иногда используется двухуровневое резервирование: центральный ИБП резервируется источниками второго уровня малой мощности, размещенными непосредственно в телекоммуникационных шкафах. Системы технологического кондиционирования компания «Крок» предпочитает строить на основе прецизионных автономных кондиционеров с регулированием температурного и влажностного режимов производства Liebert-Hiross. В виде исключения, для особо малобюджетных решений, система технологического кондиционирования может создаваться с применением надежных бытовых сплит-систем (например, оборудования Daikin).
«Крок» уделяет большое внимание организации системы контроля и управления доступом. Такая система позволяет, во-первых, физически ограничивать доступ в серверную комнату, пропуская туда людей на основании их персональных идентификаторов (бесконтактных proximity-карт, карт с магнитной полосой, ключей touch-memory и др.), а во-вторых, вести различную статистику (кто из пользователей находился в серверной, когда осуществлялись попытки несанкционированного доступа и т. п.). При повышенных требованиях к безопасности возможно применение биометрической системы, которая идентифицирует пользователя по таким признакам, как отпечаток пальца, геометрия ладони, сетчатка глаза. Система доступа для серверной комнаты может быть полностью автономной, обслуживающей только конкретное помещение, а может входить в состав общей системы контроля доступа всего здания.
Еще одним современным средством системы контроля является IP-видеонаблюдение. Оно может обеспечивать постоянный видеоконтроль ситуации в серверной комнате и выполнять функции охранной сигнализации. При получении сигнала от внешнего охранного датчика (пассивного инфракрасного датчика движения, магнитоконтактного датчика или любого другого) или при срабатывании встроенного детектора движения видеокамера может передавать видеоснимок по сети или по электронной почте, включать внешнюю сирену или другое оповещающее устройство. Сетевая видеокамера — это единственный компонент, который необходим для организации IP-видеонаблюдения, она устанавливается в любом месте, где есть подключение к IP-сети или модем. В качестве оборудования 1Р-видеонаблюдения «Крок» применяет сетевые видеокамеры компании AXIS (Швеция).
Среди решений для мониторинга параметров окружающей среды Александр Ласый выделяет оборудование американской компании NetBotz, которое выполняет два типа функций: собственно мониторинг и IP-видеонаблюдение. Интеллектуальные модули системы, устанавливаемые в любом месте помещения, в том числе и в шкафах с оборудованием, могут выдавать не только видеоизображение, но и информацию о температуре, влажности, уровне шума, протечках, задымленное, качестве электроэнергии, данные с датчиков движения, открытия/закрытия дверей и пр. Если какой-либо параметр превышает допустимые пределы, будет отправлено тревожное сообщение, например, по сети, либо SMS-сообщение.
ЗА «КЛИМАТИЧЕСКИЙ МИР»
Специалисты компании NeuHaus Group не рекомендуют экономить на климатических системах и устанавливать бытовые кондиционеры вместо промышленных. Именно для того чтобы охлаждение было применено не вообще в помещении, а на тех узлах агрегатов, где особенно необходимо, следует использовать прецизионные кондиционеры. Совмещение же прецизионных климатических систем с бытовыми, как правило, крайне нежелательно, поскольку оно может привести к работе кондиционеров двух разных типов друг против друга: например, один осушает воздух, другой — наоборот, увлажняет. Подобная «климатическая война» повлечет за собой снижение общих показателей надежности систем и ускорит выработку их ресурсов.
Что же касается возможной «электрической» составляющей NCPI, то здесь привлекает внимание недавно анонсированная компанией Liebert-Hiross новая серия ИБП — NXa. Как отмечает руководитель отдела продаж и маркетинга NeuHaus Group Игорь Андрющенко, она интересна не только собственно характеристиками, касающимися защиты электропитания, но и новым подходом к охлаждению внутриблочного пространства. В частности, в источниках NXa холодный воздух поступает спереди источника, а нагретый отводится сверху. При этом нет необходимости в вентиляционных зазорах с боковых сторон и сзади блока. Такой конструктив, существенно упрощая подвод охлаждающих потоков воздуха, предоставляет проектировщикам больше возможностей при встраивании NXa в систему NCPI. Использование же многочисленных термодатчиков, в том числе и внутри батарейных шкафов, позволит своевременно получать реальную картину температурного режима работы, а также предусмотреть возможности дополнительного обдува при работе в критических условиях.
В последнее время задачи по проектированию ЦОД нередко включают в себя не только расчеты привычной «начинки» — система бесперебойного электропитания (СБЭ), кондиционер, монтажные стойки, — но также организацию системы удаленной диспетчеризации всего работающего оборудования. Более того, явственно просматриваются тенденции интеграции систем мониторинга СБЭ в единые схемы диспетчеризации инженерных систем всего здания. Учитывая эту тенденцию, производители оборудования СБЭ в своих системах мониторинга все чаще используют протоколы SNMP, Modbus/Jbus, LonWorks, HTTP.
Примером создания единой системы диспетчерского управления (АСДУ) инженерным оборудованием является проект, выполненный компанией NeuHaus Group в здании Центрального Банка РФ, которое расположено в Москве на ул. Житная. Разработанная АСДУ собирает и обрабатывает информацию о состоянии инженерных систем здания, а также управляет центральными кондиционерами и приточными установками, холодильными машинами, узлами водоподготовки, пожарными насосами и насосами хозяйственной воды, системой электроснабжения здания.
Построенная распределенная система диспетчеризации состоит из сетевой инфраструктуры, выделенного сервера и рабочих мест диспетчеров и специалистов службы эксплуатации здания. Все подключенное оборудование компаний ТАС, SAIA Burgess, Continental Control Systems и Echelon имеет средства коммуникации стандарта LonWorks, что и позволило интегрировать его в единую сеть управления и мониторинга.
«Изюминкой» спроектированной NeuHaus Group системы является графический интерфейс оператора с элементами анимации: движущиеся и вращающиеся объекты, изменение цвета, цифровые индикаторы и т. п. Система способна автоматически самодиагностировать каналы связи и контроллеры автоматики. Естественно, в ней предусмотрены необходимые средства защиты от несанкционированного доступа и разграничения полномочий операторов.
В рамках проекта разработана система автоматики, контролирующая электроснабжение здания. Благодаря автоматическому контролю и коррекции включенной нагрузки обеспечивается более эффективная эксплуатация силовых трансформаторов на вводах в здание, что позволяет преодолеть определенные ограничения на максимально допустимую суммарную мощность потребителей электроэнергии. Контроллеры автоматики в реальном времени отслеживают изменяющуюся топологию сети электроснабжения, и в случае приближения перегрузки любого из четырех трансформаторов отключают низкоприоритетные нагрузки.
КРАТКИЕ ВЫВОДЫ
По всей видимости, объединение самых разнообразных инженерных систем в единые управляемые комплексы в самое ближайшее время из чего-то экзотического превратится в типовые проекты. В этом случае решение NCPI станет просто частью глобального проекта автоматизации высокотехнологичного здания.
Но вернемся к тому, с чего мы начали, к объектам типа ЦОД. Для организации их инженерной инфраструктуры имеется по меньшей мере две интегрированные платформы — InfraStruXure компании АРС и Foundation компании Liebert-Hiross. Они помогут решить задачу в том случае, если все оборудование сосредоточено в одном месте и монтируется в стандартные стойки. Но обеспечат ли такие платформы должную гибкость и будут ли они дешевле решений, составленных из продуктов разных фирм? Ответить на этот вопрос можно лишь, зная специфику конкретного проекта.
В случае же «распределенных» проектов, когда, например, необходима защита электропитания всего здания, со множеством разбросанных по этажам рабочих станций и других электронных устройств, требуются другие подходы, с привлечением продукции нескольких фирм-производителей. И как убедили нас компании-интеграторы, организация серьезного комплекса инженерных систем — это пока еще отнюдь не простая задача типа сборки конструктора «лего».