Сергей Давиденко: «Построение ЦОД – задача не только техническая, но и организационная»

– В октябре 2005 года Сбербанк России, Национальный резервный банк, Межрегиональный инвестиционный банк, «РГ-Лизинг» и компания BGS Smartcard Systems A. G. (Австрия) объявили об учреждении новой компании ЗАО «Сберкарта». Основной целью деятельности ЗАО «Сберкарта» является формирование российской национальной платежной системы на базе микропроцессорной технологии. Платежная система должна быть ориентирована на рынок массовых розничных платежей. Наша компания разрабатывает и внедряет общесистемные правила и процедуры межбанковских транзакций на базе микропроцессорной технологии, будет предоставлять услуги по эмиссии карт и эквайрингу, а также осуществлять процессинг межбанковских транзакций.

В то же время, расчетная платежная система «Сберкарт» уже на сегодняшний день является крупнейшей российской платежной системой. По данным на 1 января 2007 г., объем эмиссии карт в системе превышает 3,1 млн. штук. Операции по обслуживанию карт «Сберкарт» проводятся в более чем 8 тыс. пунктов выдачи наличных по всей стране, 7,2 тыс. банкоматов, оплата товаров и услуг осуществляется в 17 тыс. предприятий торговли и сферы обслуживания в 65 регионах РФ.

Основными целями, поставленными перед РПС СБЕРКАРТ, являются:

• объединение и координация усилий российских банков для создания российской платежной системы, которая ориентирована на проведение массовых повседневных платежей населения; 
• охват подавляющей части населения страны платежными услугами, с возможностью использовать карту в качестве инструмента безналичной оплаты практически всех приобретаемых товаров и потребляемых услуг на территории страны; 
• перевод значительной доли наличного денежного оборота в безналичные операции; 
• активное участие в реализации ряда государственных проектов, связанных с внедрением безналичных платежей в различные сферы экономической и социальной жизни государства. Компания участвует в реализации этих проектов в рамках программы «Электронная Россия».

В качестве технологической платформы системы выбрана многофункциональная микропроцессорная карта, которая наряду с банковскими платежными приложениями позволяет использовать целый спектр небанковских приложений. Поэтому одна из задач, стоящих перед службой ИТ, – создание всей ИТ-инфраструктуры для реализации целей бизнеса и ее поддержка на высоком уровне доступности, надежности, готовности для обслуживания всех участников РПС СБЕРКАРТ.

– Ориентация на автономное обслуживание в торгово-сервисной сети позволяет использовать в системе портативные терминальные устройства, которые в несколько раз дешевле, чем традиционные, исключает необходимость в высококачественной и надежной линии передачи данных между торговой точкой и процессинговым центром.

Технологической платформой РПС СБЕРКАРТ стала автоматизированная система расчетов DUET. Основными технологическими принципами DUET являются: использование многофункциональных микропроцессорных карт с несколькими платежными и идентификационными приложениями; проведение платежных транзакций в диалоге двух карт в автономном/оперативном режиме; многоуровневая система эмиссии карт и высокий уровень безопасности системы в целом.

В системе DUET используются микропроцессорные карты Gemplus MPCOS EMV.

Микропроцессорная карта технологии DUET является не просто «удостоверением наличия банковского счета», а полноценным предавторизованным средством платежа, предусматривающим следующий базовый цикл прохождения расчетов: предварительную авторизацию средств на карте, списание предавторизованных средств в автономном режиме с карты клиента на торговую карту, установленную в кассовом терминале или банкомате, передачу всего пакета платежей с торговой карты в банк-эквайер, расчет между эмитентом и эквайером.

На уровне терминального оборудования существует возможность интеграции с системами, работающими с международными картами, что позволяет на одном устройстве осуществлять прием как микропроцессорных карт DUET, так и международных магнитных карт и EMV-продуктов.

Масштабируемость DUET позволяет строить платежные системы любого размера и архитектуры – как локальные, так и открытые, объединяющие несколько банков, вплоть до национальных систем.

– Безусловно, центр обработки данных является основным элементом ИТ-инфраструктуры РПС СБЕРКАРТ. Ключевые требования к ЦОД – обеспечение безотказной работы инфраструктуры предприятия с требуемыми уровнями доступности, надежности, безопасности и управляемости.

Хочу отметить, что ЦОД – это сложная централизованная система, которая включает высоконадежное серверное оборудование, систему хранения данных, активное сетевое оборудование, специальные средства резервирования и дублирования критически важных элементов информационных систем, инженерную инфраструктуру, средства информационной и физической защиты данных. Немаловажной частью ЦОД являются системы управления и мониторинга, а также комплекс организационных мероприятий и обученный персонал.

В процессе проектирования и строительства ЦОД мы старались найти компромисс между высоким уровнем надежности, который обеспечивают соответствующие технические решения, и стоимостью. Мы исходили из того, что стоимость ЦОД не должна превышать стоимости данных, которые в нем обрабатываются, а технические решения должны быть адекватны рискам отказа критически важных информационных сервисов.

– Чтобы ЦОД стал хорошим инструментом для решения задач компании, его надо грамотно спроектировать. В условиях крайне сжатых сроков для создания всей ИТ-инфраструктуры наша молодая компания без помощи внешнего опытного партнера справиться не могла. Впрочем, дело не только в молодости компании – создание ЦОД в принципе не является нашей профильной деятельностью. Для этого требуется провести большую проектную работу, разработать документацию, исследовать потенциальные риски, протестировать работу оборудования и приложений. Затем необходимо обеспечить поставку оборудования, ПО, провести установку ПО, настройку элементов системы, обучение специалистов и т. д. Большая проблема – сложность и длительность разного рода согласований при строительстве подобных объектов, особенно в Москве. Поэтому был проведен закрытый конкурс на выбор системного интегратора, который должен был стать генеральным подрядчиком. В результате анализа конкурсных заявок мы пришли к выводу, что лучше всех с этой работой справится «АйТи». У компании есть необходимый опыт по созданию аналогичных систем, высококвалифицированный персонал, грамотный проектный менеджмент.

Совместно со специалистами «АйТи» мы составляли техническое задание, прошли все стадии согласования. Практически все работы по созданию необходимой документации выполняли специалисты «АйТи».

Работы по проекту начались год назад. ЗАО «Сберкарта» было создано в октябре 2005 года. После некоторой паузы, связанной с необходимостью оформления документов и подбора персонала, в январе 2006 года мы начали работать над проектом, и меньше чем за полгода основы ИТ-инфраструктуры компании были созданы.

– Сейчас завершен первый этап создания ИТ-инфраструктуры РПС СБЕРКАРТ: закончено создание ЦОД в административном здании, проложены все необходимые коммуникации для взаимодействия с участниками РПС, набран и обучен персонал, созданы организационные механизмы, позволяющие эффективно эксплуатировать аппаратно-программный комплекс и постоянно ориентировать его на выполнение задач РПС.

Уже проведена опытная промышленная эксплуатация комплекса на примере транзакций с двумя банками, отлажены информационные потоки, дано задание технологическому разработчику на модернизацию программного обеспечения.

– Одной из основных проблем при создании ЦОД является выбор схемы консолидации данных и приложений: сколько различных баз данных останется; какие приложения будут обеспечивать требования бизнеса; каковы уровни сервиса для этих приложений. Если на этапе проектирования этот выбор сделан неверно, то через несколько лет работы огромный объем накопленных данных не позволит обеспечить масштабируемость выше определенного предела.

Как я уже сказал, главным бизнес-приложением и технологической платформой РПС СБЕРКАРТ является система DUET. DUET позволяет проводить как горизонтальное масштабирование (в серверном комплексе масштабирование количества серверов, в хранилище данных – отдельных систем хранения), так и вертикальное масштабирование (увеличение мощности одного SMP-сервера).

Если говорить о гибкости и масштабируемости, нельзя не упомянуть о технологии SAN, которая обеспечивает решение ряда ключевых задач при организации хранилищ данных. Это достижение высокой производительности, высокой расширяемости с сохранением архитектурной простоты, прозрачного управления доступом к данным с нескольких серверов, обеспечение надежности хранения данных и поддержки их интеллектуального резервного копирования и др.

– Мы рассматривали все возможные варианты создания надежной ИТ-платформы для бизнеса, в том числе и варианты аутсорсинга. В целом, все они могут быть сведены к трем основным типам. Во-первых, обычный аутсорсинг, то есть передача вспомогательных функций внешним компаниям с целью снижения затрат и сосредоточения на основном бизнесе. Такой подход применим для компаний, бизнес которых напрямую не связан со сферой информационных технологий. Во-вторых, аутсорсинг с модернизацией бизнес-процессов, когда внешний провайдер ИТ-услуг более тесно интегрируется в бизнес-процессы заказчика. Эта форма уже сегодня используется рядом банковских структур с целью снижения затрат на ИТ и повышения гибкости управления. И, наконец, аутсорсинг с полной реорганизацией: объединение заказчика с аутсорсером в единую компанию для кардинального преобразования всей структуры бизнеса на базе новых бизнес-процессов. Его эффективно могут использовать компании, деятельность которых не зависит критическим образом от ИТ-систем. В этом случае компании выгодно не обеспечивать собственную ИТ-компетенцию, вкладывая в это финансовые, трудовые, управленческие ресурсы, а воспользоваться услугами сторонней организации, специализирующейся на этом и способной обеспечить необходимый уровень сервиса по приемлемой цене. Этот вид аутсорсинга для нас неприемлем. «Сберкарта» сама является оператором и провайдером аутсорсинговых услуг для коммерческих банков, процессинговым центром и оператором платежной системы, а также центром обработки межбанковских транзакций. Это наш бизнес. Понятно, что отдать его на аутсорсинг невозможно.

Тем не менее, мы не доводим до абсурда идею создания и эксплуатации систем исключительно силами собственных специалистов и активно используем аутсорсинг в таких областях, как разработка ПО, техническое и сервисное обслуживание нашего оборудования и СКС. Яркий пример – сотрудничество с компанией «АйТи», которой мы передали значительную часть работы по проектированию системы, приобретению и настройке оборудования, его дальнейшему сопровождению. Но наиболее критические элементы системы, от которых зависит работоспособность и уровень доступности и надежности ИТ-услуг для бизнеса, мы поддерживаем собственными силами.

Кроме того, некоторые ограничения на использование аутсорсинга накладывают требования безопасности: компания, как оператор платежной системы, не имеет права передавать на аутсорсинг некоторые процессы и их ИТ-поддержку.

– Дело не в недоверии к аутсорсинговым компаниям как таковым, а в организационных принципах. Если есть возможность не усложнять систему — лучше этого не делать. Чем больше посредников участвует в процессе передачи информации, тем больше риск утечки. Стопроцентной гарантии не существует в принципе.

Мы занимаемся разработкой всей методологии платежной системы, формируем ее архитектуру, в том числе и с точки зрения информационных потоков, создаем правила работы в этой системе. Поэтому мы заинтересованы в том, чтобы гибко управлять созданием и эксплуатацией ИТ-инфраструктуры. На сегодняшний день нам представляется наиболее целесообразным сосредоточить все ключевые процессы в собственном ИТ-подразделении, а не передавать их внешней организации.

– Энергопотребление и охлаждение оборудования ЦОД становятся приоритетными задачами по отношению к объектам любого масштаба – от занимающих одно помещение до распределенных катастрофоустойчивых сетей центров обработки данных. Мощность современных ЦОД увеличилась в разы – в среднем с 5 до 15 и даже 24 кВт (у модульных серверов) на стойку. Поэтому подход к построению системы бесперебойного электропитания и электроснабжения у нас был очень серьезный – мы приступили к ее созданию еще на этапе проектирования архитектуры ЦОД. Мы старались с максимальной полнотой выполнить все необходимые расчеты, поскольку понимали, что количество серверов и, соответственно, их энергопотребление в ближайшее время будут резко возрастать. Мы учли в проекте не только сегодняшнюю архитектуру, но и заложили определенные возможности для ее дальнейшего развития. Это касается и мощности системы кондиционирования, и мощности системы бесперебойного питания. Мы разместили оборудование согласно теории кондиционирования, используя направленные коридоры горячего и холодного воздуха. Что касается систем электропитания, то, учитывая, что наше здание находится практически в центре Москвы, где нагрузка на системы передачи электроэнергии очень высока, мы приняли необходимые меры безопасности. Для обеспечения работоспособности ЦОД организован ввод с нескольких независимых подстанций, используются резервные мощности дизель-генераторов. Мы используем современные системы бесперебойного питания, которые грамотно спроектированы и расположены в защищенном помещении. Были проведены комплексные испытания систем, и они показали свою работоспособность.

Выбор систем бесперебойного электропитания, на наш взгляд, необходимо начинать с оценки максимальной мощности нагрузки. При этом ни в коем случае нельзя забывать о мощности систем охлаждения. При анализе ИБП полезно выяснить значение его КПД не только при нагрузке 100%, но и при малых нагрузках, начиная с 25%. Очень важно, чтобы КПД оставался высоким и при небольшой загрузке инвертора, поскольку система в основном функционирует в режиме с невысоким КПД. При проектировании ЦОД очень удобно отвести отдельную комнату для ИБП и батарей. Мы разместили систему бесперебойного питания, фильтры и батареи в отдельном помещении, чтобы не загромождать серверную. Причем в этой технической комнате не обязательно монтировать фальшпол и использовать дорогостоящую систему прецизионного кондиционирования – можно обойтись обычной приточно-вытяжной вентиляцией, которая на порядок дешевле.

Повысить надежность энергоснабжения можно за счет использования дизель-генераторной установки. Она должна автоматически запускаться при исчезновении напряжения во внешней электросети. Мы используем генератор в мобильном исполнении (во всепогодном контейнере и на колесах). Это позволило избежать дополнительных согласований для его установки на территории ЦОД. Мощность генератора рассчитывается с коэффициентом не более 0,7, другими словами – полная нагрузка потребителей на генератор не должна превышать 70-80% его мощности (перегрузка повлечет за собой нестабильность частоты генерируемого напряжения).

– Любой проект инженерной инфраструктуры центра обработки данных уникален как по физическим параметрам, так и с точки зрения технических решений и их экономической эффективности. При проектировании и строительстве ЦОД должны приниматься во внимание порядка 200 факторов, соответствующих бизнес-потребностям компании и определяющих конкретную реализацию. В зависимости от этого выбирается определенная стратегия построения, учитывающая возможные изменения на протяжении всего жизненного цикла. В полной мере это относится и к системам кондиционирования ЦОД: повышение плотности энергопотребления и ее динамическое распределение внутри ЦОД могут привести к нестабильной работе систем и, как следствие, простоям и потере данных.

Изначально понимая эту проблему, совместно с интегратором мы изучили различные сценарии построения систем кондиционирования: охлаждение серверного помещения, охлаждение рядов стоек и охлаждение непосредственно самой стойки. Причем для эффективного теплоотвода необходимо соблюдать «золотое правило» – не перемешивать потоки охлажденного и нагретого воздуха в серверном помещении, отводя тепло непосредственно от оборудования. Для выбора того или иного варианта следует, прежде всего, учитывать состояние ИТ-инфраструктуры на данный момент и планы по ее развитию.

Создавая системы кондиционирования для нашего центра обработки данных, специалисты «АйТи» и «Сберкарты» руководствовались не остаточным принципом, а физическими законами построения систем и экономическими аспектами. Я надеюсь, что их оптимальное сочетание дало нам возможность добиться максимальной эффективности системы кондиционирования при минимальных затратах.

– Понятно, что от качества СКС, от надежности ее работы, в конечном итоге, зависит работоспособность всего ЦОД. СКС ЦОД должна обеспечивать высокую плотность портов, гибкость проектных решений и удобство эксплуатации, характеризоваться механической прочностью, надежностью, помехоустойчивостью и высокой пропускной способностью. Кабельные системы и специальные решения для ЦОД предлагают целый ряд производителей СКС и кабельной продукции. Поскольку наш партнер по проекту, компания «АйТи», имеет большой опыт создания и сопровождения СКС, ее система «АйТи-СКС» достаточно технологична, отработаны ее основные элементы, мы остановили свой выбор на этой системе. В системе используются надежные элементы, качественный кабель.

– Защита данных – не менее важная проблема, чем охлаждение и электропитание. К созданию комплексной системы безопасности мы подошли очень тщательно, уже на этапе проектирования, поскольку она является частью ИТ-инфраструктуры нашей компании. Система безопасности ЦОД включает в себя, во-первых, техническую безопасность оборудования (надежность). Все критически важные элементы у нас дублированы. Во-вторых, она включает информационную безопасность и физическую защиту от внешних факторов – будь то вандализм, пожар, затопление, скачки напряжения и тому подобное. Это особенно актуально для нас, поскольку компания расположена в офисном центре, и могут возникать ситуации, напрямую с нами не связанные. Поэтому мы очень внимательно подошли к аспекту физической защиты системы.

Могу еще добавить, что безопасность обеспечивается за счет ограничения доступа, четкого разделения ответственности за состояние отдельных систем, установки систем мониторинга и видеонаблюдения.

– Распределение ЦОД по нескольким площадкам требует реализации ряда технологических и организационных задач. К технологическим задачам относятся организация отказоустойчивых каналов связи между площадками, репликация данных между хранилищами, обеспечение «прозрачного» доступа пользователей к информационным системам. К организационным – налаживание поддержки систем и пользователей, планирование мероприятий по резервному копированию и восстановлению систем.

Резервный ЦОД компании будет находиться в отдельном, удаленном от бизнес-центра здании, и включать в себя элементы катастрофоустойчивости. Функционально он будет полностью соответствовать основному ЦОД, чтобы в случае выхода его из строя компания могла поддерживать свои важнейшие бизнес-процессы: расчеты, сбор, обработку и предоставление банковской информации. На сегодняшний день все необходимые данные уже дублируются.

Понятно, что такие масштабные системы сложны и дороги, но с учетом того, что мы поддерживаем национальную расчетно-платежную систему, работаем с банками, наши акционеры сознательно пошли на большие затраты на создание надежной ИТ-инфраструктуры.

– Работы по поддержке частично переданы на аутсорсинг – это, в частности, техническое обслуживание серверов и модернизация прикладного программного обеспечения. Внешние компании привлекаются и для решения некоторых проблем системного ПО. В рамках аутсорсинга мы взаимодействуем с несколькими вендорами, которые с пониманием относятся к нашим проблемам, для них сотрудничество с ЗАО «Сберкарта» тоже является интересным в плане накопления опыта работы со сложной масштабной системой.

Мы стараемся минимизировать количество внешних компаний, с которыми существуют договоры на оказание услуг аутсорсинга, но это не всегда оказывается возможным. Да может быть, это и не нужно – ведь аутсорсер не всесилен. Надо грамотно управлять процессом взаимодействия с аутсорсерами и не передавать внешней компании задачи, которые она не в состоянии выполнить самостоятельно и для которых станет привлекать субподрядчиков. Гораздо более эффективно строить сотрудничество с аутсорсерами строго в рамках их компетенций.

– Главное, что хотелось бы отметить, – приступать к созданию ЦОД стоит только тогда, когда в организации возникает реальная потребность, когда заказчик в лице бизнеса понимает, что от ИТ-инфраструктуры начинает зависеть стабильность бизнеса. Именно тогда возникает реальная необходимость в ЦОД и становятся востребованными бесперебойность, масштабируемость, управляемость. ЦОД – это очень дорогостоящее решение, и надо, чтобы организация задумывалась о его целесообразности до, а не после его создания. Если у бизнеса нет уверенности в необходимости ЦОД – лучше его не создавать.

Главное на этапе проектирования и строительства ЦОД – внимание к деталям. Нельзя полностью отдавать контроль проекта исполнителю. Может случиться, что один неправильно проложенный кабель сведет на нет все усилия – технические и финансовые – по полному дублированию элементов системы; один неквалифицированный специалист, произведя неверные расчеты, может испортить работу целого коллектива, и тому подобное.

Еще один очень важный аспект: нужно понимать, что построение ЦОД – задача не только техническая, но и организационная. Создание ЦОД предполагает построение эффективного ИТ-подразделения как элемента бизнес-структуры компании. В ИТ-службе должны быть четко описаны все регламенты функционирования ЦОД как в штатном режиме, так и в случае возникновения непредвиденных ситуаций.

И, конечно, какими продуманными и современными ни были бы созданные технические системы – главную роль в их работе играет персонал ИТ-службы. Обязательно надо вкладывать деньги и время в создание настоящей профессиональной ИТ-команды.