Главный магазин страны - ГУМ - делится с читателями журнала LAN опытом построения своей информационной системы.


ТОПОЛОГИЯ КАБЕЛЬНОЙ СИСТЕМЫ
НАДЕЖНОСТЬ И ЕЩЕ РАЗ НАДЕЖНОСТЬ
КАК ЭТО ВСЕ РАБОТАЕТ
ЗАКЛЮЧЕНИЕ

За год, прошедший с момента перехода рубрики "Поучительный пример" исключительно на отечественный материал, наметилась традиция регулярно публиковать статьи, прямо или косвенно посвященные достопримечательностям Москвы. Мы уже побывали в Московском метрополитене, Университете, а в этом номере (выходящем в дни празднования 850-летия столицы) посетим главный торговый центр города - ГУМ.

История торгового дома ГУМ насчитывает уже более ста лет. В 1886 году было создано Товарищество Верхних Торговых Рядов, построившее в 1893 году известное нам главное здание ГУМа. После Октябрьского переворота в здание въехал наркомат продовольствия, за ним потянулись другие, порожденные новым режимом организации. Только в 1953 году после капитального ремонта в Верхних Торговых Рядах, переименованных в Государственный универсальный магазин, возобновилась торговля. Начавшаяся в середине 80-х годов перестройка и последовавшие за ней перемены в экономическом и политическом строе России способствовали превращению ГУМа из универмага особо крупных размеров в торговый дом, что радикально сказалось на способах ведения торговли. Посетителям магазина может на первый взгляд показаться, что ГУМ просто сдает свои столь удачно расположенные площади сотням небольших магазинов (бутиков, если хотите), как это происходит, скажем, в Петровском Пассаже. На самом деле персонал этих магазинов - сотрудники торгового дома, и если вы видите вывеску "Karstadt", то это значит, что торговлю в этой секции ведут совместно компания Karstadt и ГУМ. Таким образом, перед руководством и бухгалтерией торгового дома стоит довольно сложная задача ведения дел в более чем ста относительно независимых секциях, причем им нужно не только самим в этом разбираться, но и оперативно снабжать нужной информацией своих многочисленных партнеров. Естественно, ГУМ оказался перед необходимостью построения информационной системы, способной обеспечить все потребности компании. Конкурс на разработку и реализацию проекта (первоначально предусматривавшего автоматизацию только административного аппарата и бухгалтерии торгового дома) выиграла московская компания RUSLAN Communications, причем она же занималась затем и его развитием. Заметим, что в то время (1993/94 годы) стандартным решением для любой крупной сети считалось использование в качестве магистрали кольца FDDI, и предложенный компанией подход, основанный на коммутируемом Ethernet, был на тот момент весьма передовым. Прежде чем перейти к описанию собственно технического решения, перечислим требования, которым должна была отвечать вся система. Основным требованием (помимо экономической эффективности) было обеспечение максимальной надежности работы системы. Любой сбой в работе такой сложной торговой структуры чреват серьезными убытками, а функционирует оборудование в непростых условиях. Во-первых, в большом (и довольно старом, несмотря на все ремонты) здании может произойти любая авария. Во-вторых, трафик сети имеет ярко выраженный пиковый характер, связанный с ростом покупательской активности в определенные часы. Впрочем, в предпраздничную пору и в первую очередь в рождественско-новогодний сезон, на который приходится наибольшая доля оборота торгового дома, можно говорить не о часах, а о днях и даже неделях пик. В-третьих, регулярно проводится переоформление торговых залов, могут закрыться одни секции и открыться другие, а все ремонтные работы потенциально опасны обрывом кабелей. Кстати, динамика "карты" секций накладывает на сеть здания еще и требования гибкости. В совокупности все эти требования и определяют принципы построения кабельной системы.

ТОПОЛОГИЯ КАБЕЛЬНОЙ СИСТЕМЫ

Главное здание ГУМа имеет три этажа и подвал. Третий этаж занят в основном административными отделами торгового дома, первый и второй этажи отведены под торговые площади. Охватывающая все этажи кабельная система строится на витой паре и волоконно-оптических кабелях. Кабельная система торговых залов, построенная по топологии "двухъярусная звезда", стала логическим продолжением созданной во время реализации первого этапа проекта сети третьего этажа. К пяти существующим коммуникационным центрам третьего этажа добавились три центра на первом этаже, все вместе образующие "первый ярус" системы. От центров ЛВС третьего этажа оптические линии спускаются на первый этаж к трем коммуникационным центрам. Работа торговых секций первого этажа обеспечивается 15 узлами сети, каждый из которых обслуживается либо концентратором SH-E16, либо непосредственно модульным коммутатором LET-36. Три коммуникационных центра связываются по горизонтали оптическими линиями с узловыми концентраторами. Концентратор обслуживает по линиям неэкранированной витой пары пользователей своего этажа, пользователей узла, расположенного над ним на втором этаже, и пользователей под ним на складском этаже. Концентраторы с линиями витой пары до конечных пользователей образуют "второй ярус" системы.

Picture(1x1)

Вкус сезона. Можно "откусить" любой угол, на остальной сети это не скажется.

По торговым помещениям монтируется "этажная" кабельная проводка кабелями витой пары. Термин "этажная проводка" означает оборудование информационными розетками RJ-45 всех рабочих мест, которые уже оснащены или будут оснащены персональными компьютерами. В подсобных помещениях торговых секций на первом этаже для создания центров "первого яруса" ЛВС установлено 3 аппаратных 19-дюймовых шкафа. В каждый аппаратный шкаф устанавливаются оптические муфты и коммутационные панели для витой пары. Узлы "второго яруса" системы создаются также в подсобных и служебных помещениях торговых секций и магазинов арендаторов и оборудуются компактными настенными аппаратными шкафами. В эти шкафы устанавливаются оптические муфты, коммутационная панель для витой пары и концентратор. Каждая пользовательская информационная розетка связана линией CAT5Plus с коммутационной панелью соответствующего узлового аппаратного кабинета "второго яруса". На Рисунке приведена принципиальная схема коммуникаций ЛВС. К каждому рабочему месту ведется две линии витой пары. Одна линия может использоваться для телефонной системы, другая - для компьютерной сети.

Кабельная сеть реализуется следующим образом:

  • розетки у рабочих мест связываются информационными кабелями с этажной аппаратной стойкой, в которой установлены этажные коммутационные панели компьютерной сети; горизонтальная кабельная разводка внутри торговых помещений производится по пластиковым односекционным коробам;
  • оптические кабели прокладываются между этажными стойками и разводятся в 8- или 12-портовые оптические муфты (применяемый оптический кабель имеет стальной сердечник, 8 оптических многомодовых волокон, гидрофобное наполнение и бронирование стальной проволокой);
  • каждый кабель витой пары маркируется по обоим концам с указанием номера помещения на этаже и номера розетки в данном помещении. Подобная маркировка производится и для оптических кабелей. Маркировка является устойчивой к многократным переключениям кабеля и изменениям трассы его прокладки.
  • Мы неслучайно уделили столько внимания кабельной системе. Кабельные системы - тема номера, а сеть главного здания ГУМа - наглядный пример планирования, о котором говорится в статье Тодда Майерса "Как сделать качественную кабельную проводку". Если посмотреть на Рисунок, то видно, что сеть поделена на квадраты (каждый квадрат имеет "толщину", поскольку охватывает не один этаж). Такое деление неслучайно: в ближайшее время начинается реконструкция главного здания ГУМа, которая будет проводится по частям, чтобы торговля не прекращалась полностью. Ремонт в любом из квадратов (фактически отсечение квадрата от сети) не окажет никакого влияния на работу остальных зон сети. Но не стоит думать, что гибкость и надежность работы обеспечивается только за счет кабельной системы.

    НАДЕЖНОСТЬ И ЕЩЕ РАЗ НАДЕЖНОСТЬ

    Структура сети главного здания согласно требованиям должна позволять:

  • организовывать рабочие группы с размещением рабочих мест в пределах одного этажа или на нескольких этажах;
  • соответствовать административной структуре подразделений;
  • блокировать распространение пакетов в сети за пределами одной рабочей группы.
  • Построение компьютерной сети производится на основе двух типов активного оборудования:

  • стековые концентраторы SH-E16 применяются для подключения конечных пользователей;
  • модульный концентратор LET-20 использован в качестве центрального устройства сети архитектуры "инверсная магистраль".
  • Концентраторы SH-E16 полностью управляемы по объединяющей системной шине и имеют встроенный оптический интерфейс. Для подключения стеков к коммутирующему концентратору в LET-20 устанавливаются модули, предоставляющие на каждом из 4 оптических портов стандарта FOIRL по 10 Мбит/с на сегмент, вне зависимости от загрузки остальной сети.

    Шасси LET-20 имеет сдвоенные источники питания с функцией разделения нагрузки. Все активное оборудование поддерживает режим горячей замены модулей.

    Модули оборудования, входящего в состав системы, обеспечивают автоматическое переключение на резервные пути передачи данных в аварийных ситуациях.

    Концентраторы Madge оптимизированы под обеспечение максимальной надежности (отсутствие выключателей и центральных процессоров, взаимодействие модулей на микропрограммном уровне, возможность работы любых конфигураций без модуля управления).

    Между этажами предусматривается двойное количество оптических волокон в кабелях и включение концентраторов в резервном режиме, что позволит осуществить горячее резервирование и дублирование межэтажных каналов связи.

    Все сетевое оборудование подключено к ИБП APC Smart UPS, устанавливаемый в аппаратные стойки. Используется частично децентрализованная схема подключения ИБП, когда группы пользователей, подключенные к одному концентратору, обеспечиваются электропитанием через общий с ним ИБП либо через собственный. В дальнейшем вопрос стабилизации электропитания предполагается решить уже на уровне здания в целом.

    Управление сетью осуществляется при помощи программно-аппаратного комплекса администрирования, включающего в себя агенты SNMP, помещаемые в LET-20 и SH-E16 и имеющие базы MIB-I, MIB-II, и работающий на платформе HP OpenView графический интерфейс - MultiMan c собственной MIB для управления оборудованием Madge.

    Система управления сетью MultiMan обеспечивает:

  • диагностику и управление вплоть до порта концентратора;
  • постоянный мониторинг всей сети;
  • анализ и декодирование протоколов верхнего уровня и построение матриц хостов в виртуальных и обычных сегментах;
  • локализацию неисправностей в сети;
  • предоставление сетевой статистики о работе мостов, маршрутизаторов и других SNMP-управляемых устройств, подключенных к сети.
  • КАК ЭТО ВСЕ РАБОТАЕТ

    А что, собственно, подключено к этой сети? В административном комплексе установлено два сервера Tricord под управлением NetWare, а на рабочих местах сотрудников - естественно, ПК. В торговых же помещениях основным клиентским местом является кассовый аппарат. Все кассовые аппараты секции подключены к сети и в режиме реального времени сбрасывают на серверы информацию. Товары, продаваемые в ГУМе, имеют ярлыки со штрих-кодом, поэтому кроме данных о выручке собирается статистика о динамике продаж и спросе на конкретный вид товара. На основе их показателей оперативно решаются вопросы ценообразования, целесообразности торговли той или иной продукцией и формирования заказов. Существует также такое понятие, как личный код продавца, который дает возможность достаточно объективно оценивать эффективность работы сотрудников и учитывать это при премировании. В некоторых секциях помимо кассовых аппаратов имеются и компьютеры, на которых представители партнеров торгового дома на месте производят анализ деятельности своих секций по соответствующим методикам. Еще одним устройством, подключаемым к сети, является терминал считывания информации с кредитных карточек. Работа над проектом установки этих аппаратов во все торговые секции на момент написания статьи была в самом разгаре. Его реализация делает ГУМ еще более привлекательным для партнеров, поскольку любая компания, желающая открыть здесь свой магазин, получает право принимать электронные средства платежа, даже если она сама это не практикует. Связь с центром авторизации кредитных карт осуществляется по беспроводной линии.

    Здесь мы подошли к вопросам глобальных телекоммуникаций. Помимо центра авторизации главное здание связано еще и с расположенными в Карачарово складами торгового дома. Связь локальных сетей (а в складах развернута своя локальная сеть) осуществляется по выделенной линии. Для подключения локальной сети к линиям WAN используется маршрутизатор Bay Networks Link Node. Со складов после маркировки товара штрих-кодом (и, соответственно, его электронной регистрации) поступает информация обо всех пришедших грузах, и бухгалтерия торгового дома часто успевает зарегистрировать и оприходовать товар до фактического появления контейнеров и сопроводительных документов в главном здании. В планах ГУМа объединение информационных систем главного здания и всех филиалов (магазины "Власта", "Ганг" и др.) в единую корпоративную сеть. В качестве линий связи предполагается использовать волоконно-оптические сети, и в настоящее время уже рассматриваются предложения ряда операторов. Вообще торговый дом планирует максимально централизовать всю свою информационную и телекоммуникационную инфраструктуру. Например, в планах стоит получение собственного канала спутниковой связи, что позволит торговому дому предоставлять услуги междугородной связи (как из бизнес-центра, так и из секций) по относительно небольшим ценам. Продолжая разговор о перспективах развития проекта, скажем, что вскоре после начала реконструкции главного здания административный аппарат переедет в отремонтированное малое здание ГУМа, а третий этаж будет полностью отдан под торговые секции, подвальные помещения также будут задействованы. Структура сети при этом существенно не изменится - система просто разрастется вверх и вниз, а верхний (на схеме) слой, физически переместившись через дорогу, логически останется на своем месте. То, что грядущие перемены не внесут принципиальных изменений в топологию сети, объясняется безупречным функционированием системы за все время ее эксплуатации. Один из этапов становления информационной системы торгового дома ГУМ касается ее программной составляющей. Компания достигла такого уровня развития, что собственные разработки уже с трудом удовлетворяют ее потребностям, и назрела необходимость перехода на программные решения уровня предприятия (например, SAP R/3). В настоящее время торговый дом проводит консультации со своими партнерами (среди которых крупнейшие торговые дома Европы), на основе которых и примет окончательное решение.

    ЗАКЛЮЧЕНИЕ

    По словам менеджера проекта ГУМ со стороны RUSLAN Сергея Фролова, сеть передачи данных ГУМа имеет много схожих черт с крупными сетями различных предприятий, но в то же время она многим и отличается. По жесткости требований к надежности системы ее можно сравнить только с банковскими комплексами. По географическому размаху ее можно поставить в один ряд с корпоративными сетями промышленных гигантов. Располагаясь на Красной площади, сеть

    ГУМа имеет те же проблемы, что и МИД РФ. Если говорить о локальной сети главного здания ГУМа, можно сказать, что редкая кабельная система может успеть за столь стремительными перемещениями кассового аппарата по торговой секции.

    От себя добавим, что опыт ГУМа, которым торговый дом охотно делится, окажется полезным как для отечественных предприятий розничной торговли, выросших до подобных масштабов, так и для компаний, желающих видеть такие предприятия в качестве своих клиентов. Поскольку статья была ориентирована больше на технические вопросы, подчеркну только одну возможно оставшуюся "за кадром" мысль - успех проекта был обеспечен не только и не столько передовыми технологиями, сколько правильным планированием.


    С Александром Авдуевским можно связаться по адресу: shura@osp.ru.