Курс обмена

Рассказ об информационной системе одной из важнейших финансовых структур страны.

Идет профессор по коридору института, навстречу ему сильно пьяный студент.

Профессор возмущенно спрашивает:

-Какой курс?

-Двадцать три... ик... пятнадцать!

Анекдот

Без информационной системы сегодня ни одна серьезная организация не в состоянии осуществлять свою деятельность. Согласно некоторым исследованиям, потеря доступа к главным информационным ресурсам (или утрата их самих) на две недели практически гарантированно приводит к смерти компании. Это, конечно, крайний случай, но и беды меньшего масштаба могут иметь катастрофические последствия, в зависимости от конкретной ситуации. Как мы уже однажды писали, даже незначительные сбои в системе могут нанести заметный урон организации, основным "средством производства" которой является управление потоками критически важной информации (и имеющей значительную ценность, в том числе в денежном выражении), особенно если сроки предоставления такой информации также оказываются критичными. Это замечание тем более справедливо, когда от деятельности организации во многом (прямо или косвенно) зависит функционирование экономики целой страны, как в случае Московской межбанковской валютной биржи.

"ЧЕНЧ МАНИ?"

Валютный рынок России прошел бурный период становления. Если еще в 80-х годах курс доллара был столь жестко фиксирован, что приводился даже в таком "долгосрочном" издании, как энциклопедический словарь (60 копеек, если кто не помнит), то в начале 90-х, когда страна вышла в "свободное плавание", дисбаланс между официальным курсом и тем, по которому, например, конвертировали свои доходы арбатские продавцы матрешек, потребовал введения новых механизмов его определения. Одним из ключевых моментов развития валютного рынка (и всей финансовой системы) страны стало создание в 1992 году Московской межбанковской валютной биржи, учредителями которой выступили Министерство Финансов, ЦБ РФ, АРБ, ряд ведущих коммерческих банков и правительство Москвы.

Изначально ММВБ существовала только как площадка валютных торгов, но постепенно расширение деятельности биржи привело к тому, что она стала универсальной фондовой биржей. Первым невалютным объектом торгов стали ГКО, и, как бы мы сейчас к ним не относились, на протяжении последних пяти лет они были одной из важнейших составляющих финансового механизма страны. После отработки механизмов покрытия операционных и кредитных рисков и создания своей торгово-депозитарной системы логичным шагом стал выход биржи и на рынок корпоративных ценных бумаг. Одним из важных этапов развития ММВБ было создание системы электронных лотовых торгов (СЭЛТ), работа которой позволила сохранить валютный рынок после августовского кризиса до периода относительной стабилизации.

О роли ММВБ в экономике страны можно говорить много и долго, но мы хотели бы перевести разговор в плоскость предоставляемых услуг, так как это позволяет создать более полное представление о том, какие задачи и почему ставились при создании корпоративной системы ММВБ. Итак, в рамках биржи функционирует три с формальной точки зрения независимые системы (в действительности они тесно взаимосвязаны друг с другом) - собственно система торгов, расчетный центр для проведения оперативных и гарантированных расчетов по сделкам и депозитарный комплекс, предоставляющий услуги большому количеству эмитентов, работающих через биржу. Региональные торговые площадки и удаленные пользователи, работающие либо с региональными площадками, либо напрямую с центральной, разбросаны по всей территории России, охватывающей (если отбросить самые крайние точки, где деловой активности нет) 10 часовых поясов. Очевидно, даже с учетом того, что финансовая деятельность сконцентрирована преимущественно в Центре, такая территориальная распределенность предопределяет очень большое количество пользователей. К тому же из-за различий во времени продолжительность функционирования системы составляет до трех четвертей суток.

Особенность работы на бирже состоит в том, что заявку на заключение сделки следует подавать как можно быстрее, так как динамика изменения курсов сопровождается порой значительными скачками (например, после резких заявлений правительства) в течение всего нескольких минут. Соответственно, все пользователи биржевой системы вне зависимости от того, где они находятся, должны иметь гарантии оперативного получения информации и обработки своих заявок. Очевидно, что очень важно и функционирование биржи в целом. Легко представить, какие события могут произойти на финансовом рынке, если биржа "отключится" на сутки или даже меньше, особенно в момент драматических изменений в динамике курсов акций или валют. Последствия ударят как по рынку (или по части его игроков), так и по самой бирже. Поэтому к вопросу построения информационной системы на ММВБ подошли очень серьезно.

ВСЕ ИДЕТ ПО ПЛАНУ

Применяемая на ММВБ корпоративная информационная система начала создаваться в 1994 году, когда бизнес биржи вышел на новый качественный уровень, и она утвердилась в своем статусе флагмана фондового рынка. Поскольку потеря этого статуса не входила в планы руководства биржи, планирование корпоративной информационной системы производилось с учетом указанных в предыдущем разделе факторов, а также перспектив дальнейшего роста бизнеса. Проведенный в 1994 году тендер выиграла шведская компания СМА Small Systems, имевшая опыт работы в этой области (отечественная интеграция тогда еще не вышла на тот уровень, когда местным компаниям было бы по силам бороться за проекты подобного масштаба).

Аппаратной платформой системы стали RISC-серверы Hewllett-Packard, а в качестве ПО использовались разработки австралийской компании FMSC, специализирующейся на решениях для трейдинговых систем. Основу сетевой инфраструктуры составляет оборудование Cisco. Аккумулированные потоки данных от удаленных пользователей (о них мы поговорим чуть позже) поступают по внешним трактам АТМ на пограничные коммутаторы LightStream 1010, после чего распределяются опорными маршрутизаторами Сisco 7513 по интерфейсам, к которым подключены коммутаторы Catalyst 5000. Несколько абстрактный характер представленной на Рисунке 1 схемы сети обусловлен тем, что все связи между сетевым оборудованием неоднократно продублированы, поэтому утверждать, что одно устройство однозначным образом связано с другим, можно лишь с некоторыми оговорками.

Массовое резервирование всех связей и организация "обходных путей" предполагают довольно-таки серьезную работу по настройке и конфигурации для обеспечения избыточности соединений между оборудованием. ММВБ, в частности, на начальных стадиях реализации проекта столкнулась с тем, что в результате сочетания избыточности связей и ряда специфических для этой сети параметров конфигурации ее производительность и даже надежность заметно снизились. Основной причиной было то, что в таких условиях у алгоритма Spanning Tree, образно говоря, "заходит ум за разум", и он работает не оптимально или не корректно (что, кстати, может происходить и в более простых сетях). Проблему удалось ликвидировать после кропотливой работы (с активным участием специалистов Cisco), включающей в себя анализ сетевых протоколов.

В качестве магистрали сети используется ATM, а все рабочие места объединены в виртуальные сети VLAN (это было одним из факторов, осложнявших функционирование Spanning Tree). Механизм маршрутизации VLAN (собственная разработка Cisco), применение которого стало возможно благодаря использованию в сети исключительно оборудования Cisco, позволяет добиться максимального удобства при работе с виртуальными сетями. Виртуальные локальные сети разделяют трафик различных групп пользователей на аппаратном уровне, что, в свою очередь, способствует проведению политики строгого разграничения прав доступа. Соответственно, несмотря на использование одной и той же сетевой инфраструктуры, торговая система и сеть самого офиса ММВБ на практике фактически полностью изолированы друг от друга. VLAN также сильно сокращает "зону видимости" для компьютеров, подключенных к Internet, что позволяет обеспечить доступ в Сеть с рабочих мест тем, кому это действительно необходимо (без создания отдельных "Internet-классов", как это бывает при драконовских мерах защиты). Защитой от проникновения извне (и от злоупотреблений изнутри) служат пользующиеся у нас в стране популярностью решения Check Point (FireWall-1 на платформе UNIX) вкупе с механизмами контроля доступа на пограничных маршрутизаторах. Управление сетью осуществляется при помощи платформ HP OpenView и CiscoWorks for Switched Network.

Основная серверная платформа в ММВБ, как мы уже говорили, - UNIX-серверы HP 9000. В центре системы - серверы серии Т500, которые выполняют роль центральных хранилищ всей информации. Они подключены к сети по кольцу FDDI, поскольку на момент реализации проекта адаптеров АТМ для них еще не существовало, да и FDDI была в то время куда более зрелой и надежной технологией. Пользователи общаются с центральными серверами не напрямую, а через серверы доступа (т. е. в торговой системе ММВБ реализована трехзвенная архитектура - см. Рисунок 2), каковыми являются RISC-серверы серии К. На каждом уровне серверы дублируют друг друга, поэтому в случае каких-либо сбоев никто из пользователей не потеряет доступ к системе ни на секунду. Для повышения надежности и производительности системы нагрузка равномерно распределяется между серверами второго уровня.

Удаленные пользователи работают по той же схеме, только по глобальным линиям связи. Удаленный доступ может осуществляться двумя способами. Первый, когда один пользователь (одно рабочее место) арендует себе канал связи, связывается по нему с сетью ММВБ и работает точно так же, как и сидящий в зале биржи трейдер, через серверы второго уровня, находящиеся на ММВБ. Каналом связи может пользоваться не обязательно один человек: любая организация (банк, например) может организовать несколько рабочих мест. Когда же число рабочих мест становится больше восьми, то клиенту выгоднее установить один (или более, в зависимости от количества пользователей) сервер доступа у себя. У удаленных пользователей серверы доступа обязательно должны быть RISC-серверами HP (для унификации поддержки удаленных элементов системы используется единая платформа), но не обязательно серии К, так как и менее мощных серверов может оказаться достаточно. Перенесение второго уровня системы на удаленные площадки минимизирует обмен данными между удаленной площадкой и ММВБ (а также делает его более быстрым и надежным) за счет того, что значительная часть обработки информации осуществляется именно на втором уровне.

Изначально для выхода "наружу" ММВБ пользовалась услугами двух провайдеров: Global One и Sovam Teleport, теперь этот список расширен до 10 компаний, причем инфраструктура, обслуживающая биржу (за исключением устройств канального уровня), у всех операторов обособлена и находится под контролем специалистов ММВБ. Биржа также предлагает своим клиентам услуги защищенной электронной почты. Все, кто работает с ММВБ, могут по желанию получить ящик в почтовой системе биржи (HP OpenMail) и электронную подпись (биржа выступает в роли центра авторизации), после чего вести деловую переписку как с биржей, так и друг с другом. Поскольку юридический статус электронной подписи у нас не детализирован (она признается, но четкие правовые механизмы ее использования в качестве свидетельства отсутствуют), для надежности все участники электронного бизнеса заключают между собой соответствующие соглашения. В рамках страны такая методика, очевидно, громоздка, но среди ограниченного числа трейдеров - вполне эффективна.

Следует отметить, что и "внутренняя" офисная информационная система ММВБ является весьма развитой инфраструктурой с распределенным доступом к корпоративным базам данных, документации и ПО и с внутренним корпоративным сервером Web.

Торговая система ММВБ представляет собой критически важный ресурс, поэтому биржей приняты все меры по обеспечению ее бесперебойной работы и защиты информации. Во-первых, как мы уже говорили, сама система устойчива к сбоям. Помимо этого, данные подвергаются регулярному резервному копированию на стримеры DDS и магнитооптические библиотеки. Система также защищена от перебоев в электропитании с помощью ИБП Merlin Gerin (ныне MGE UPS Systems) и дизель-генератора. Ресурса последнего хватит на 6 часов работы без дозаправки, а при отключении систем второстепенной важности - на больший срок. Во-вторых, биржа имеет резервный вычислительный центр, обладающий несколько меньшей мощностью, но способный полностью обеспечить выполнение всех необходимых функций. Переход на него осуществляется не прозрачно, а отнимает некоторое время, но, как легко понять, полный выход из строя основного ВЦ наверняка будет сопряжен (если таковое, конечно, произойдет) с форс-мажорными обстоятельствами, каковые вряд ли пройдут незамеченными, по крайней мере для находящихся на самой ММВБ трейдеров. Специалисты биржи утверждают (почти серьезно), что меры по защите и резервированию могут обеспечить торги и в таких экстремальных условиях, когда никому уже не будет дела ни до бизнеса, ни до торгов.

Будучи важным и дорогостоящим ресурсом, торговая система находится на полном сервисном обслуживании. За прикладную часть торгово-депозитарной системы отвечает СМА, аппаратная часть и операционная система находятся под сервисном контрактом уровня "Поддержка Критических Систем" от HP. Под аппаратной частью имеются в виду не только серверы и рабочие станции HP, но и сетевое оборудование Cisco. Это стало возможным благодаря консолидированной поставке всего оборудования через подразделение дополнительных продуктов НР в рамках стратегического соглашения между Hewlett-Packard и Cisco Systems. Уровень сервиса отличается в зависимости от критичности той или иной части системы, причем сервисные контракты постоянно подвергаются дополнениям и изменениям по мере появления нового оборудования или смены приоритетов. Максимальный уровень подразумевает предотвращение программных и аппаратных неисправностей и гарантированное восстановление аппаратных систем в течение 6 часов, если неисправности все же возникнут, а также помощь в развитии компьютерной системы и налаживании процедур эксплуатации программно-аппаратного комплекса.

Вообще, благодаря сервисным соглашениям отдел ИС биржи имеет возможность высвободить ресурсы для более качественного обслуживания пользователей, планирования развития системы, распределения ресурсов, решения вопросов эксплуатации, ведения библиотеки резервных копий и других. Обслуживанием аппаратных и программных средств в рамках сервисного контракта занимается специально подготовленная группа инженеров технической поддержки НР, закрепленная за ММВБ. Не следует, впрочем, считать, что отдел ИС биржи отстранился от участия в чрезвычайных ситуациях. Отдел выработал и регулярно отрабатывает на "штабных учениях" программу действий в критической ситуации и взаимодействия всех привлекаемых специалистов, причем учитываются все нюансы, вплоть до знания персоналом местонахождения телефонных аппаратов и кнопок пожарной сигнализации.

Большое внимание уделяется стратегическому планированию развития системы. Одним из его основополагающих правил является неспешность в переходе на новые продукты и технологии. На ММВБ предпочитают выждать некоторый срок, достаточный для того, чтобы все новшества устоялись и все их возможные недостатки и ошибки были выявлены и устранены. Также при определении сроков основных этапов обновления программных и аппаратных составляющих системы очередную модернизацию было решено проводить не раньше 2001 года. Это вызвано не только тем, что имеющиеся ресурсы вполне удовлетворяют текущие потребности, но и проблемой 2000 года. На самой бирже данную проблему успешно решают, но справедливо полагают, что сопряженные с ней системы не застрахованы от различного рода неприятностей, способных отразиться и на взаимодействии с системами ММВБ. Решать возникшие проблемы придется совместными усилиями, и вносить в это время серьезные изменения в ядро системы неразумно.

Обновление системы будет проводиться в резервном вычислительном центре (после перевода его на новую территорию), где новая конфигурация пройдет обкатку в течение как минимум полугода, после чего этот ВЦ можно будет плавно перевести в режим основного. Пользователи системы, разумеется, не заметят никаких перемен, поскольку все нововведения в ядре системы, как и все проводимые ранее (вроде обновления версии HP-UX для решения уже упомянутой проблемы Y2K), пройдут для них абсолютно прозрачно.

ЗАКЛЮЧЕНИЕ

Мы не вдавались в детали информационной системы ММВБ отчасти потому, что полная схема сети достаточно сложна для популярного изложения, отчасти же потому, что эта информация носит конфиденциальный характер. Еще одна причина состоит в том, что главным поучительным моментом в представленном материале мы считаем прежде всего то, как на ММВБ подходят к вопросам стратегического планирования, защиты информации и поддержки системы, - и поэтому постарались уделить наибольшее внимание именно им. Так, например, регулярная отработка действий персонала (после составления соответствующих детальных планов) на случай аварий или катастроф пока что является у нас редким исключением из правила - и совершенно напрасно. Подобные меры актуальны не только в структурах такого уровня, как ММВБ, но и в любой организации с более-менее развитой информационной инфраструктурой. Многие организационные вопросы, имеющие к технологиям, казалось бы, только косвенное отношение, на самом деле являются неотъемлемой частью решения, и это надо понимать.

Александр Авдуевский - редактор журнала LAN. С ним можно связаться по адресу: shura@lanmag.ru.

В двух словах: Московская межбанковская валютная биржа

ММВБ

Россия, 107217, Москва, ул. Садовая-Спасская, 21/1

Тел.: 234-4804, 938-6629, факс: 705-9640, http://www.micex.ru.

Факты. ММВБ - один из системообразующих финансовых институтов страны. Происходящие на бирже процессы определяют динамику валютного рынка России и, в частности, являются главным ориентиром при установлении официального курса доллара ЦБ РФ. Биржа имеет площадки (филиалы) и клиентов по всей территории России, обслуживание которых должно производиться с гарантированной скоростью. Внезапные перебои в работе биржи могут самым негативным образом сказаться на финансовой системе страны.

Задача. ММВБ требовалась информационная система, отвечающая целому ряду требований, в частности с точки зрения масштабируемости, надежности, защищенности информационных ресурсов, качества обслуживания пользователей. Огромную важность имела возможность оперативного восстановления функционирования системы после аварий или катастроф, а также поддержка всех компонентов системы, как аппаратных, так и программных, на протяжении всего срока ее эксплуатации.

Решение. На ММВБ сделали выбор в пользу решения на базе корпоративных UNIX-серверов Hewlett-Packard и сетевого оборудования Cisco вместе со специально разработанным программным обеспечением. Одним из решающих факторов при выборе решения стало то, что оно предусматривало полномасштабную сервисную поддержку всего оборудования из "одних рук" (в рамках одного контракта по поставке и поддержке уровня "Поддержка критических систем" от HP). На бирже была также разработана стратегическая программа развития системы и полный комплекс мер по ее эксплуатации, включая действия в критических ситуациях.

Вывод. Вопросы поддержки и сервиса, а также восстановления систем после аварий/катастроф нередко оказываются определяющими при выборе того или иного решения, и наличие подобного предложения часто может перевешивать финансовые или технические преимущества других вариантов, так как от этого зависит стратегия развития системы и надежность ее функционирования.