Со времен первых попыток автоматизации бизнес-процессов перед проектировщиками информационных систем стояла задача формирования единой версии корпоративной правды — конгломерата всех данных компании или предприятия, решение которой за последние 15 лет прошло через четыре уровня. На первом, технологическом, уровне происходило осознание необходимости единой версии корпоративных данных, для формирования которой нужен доступ к любым данным организации. На втором уровне шло создание единой корпоративной системы управления — здесь требовалась необходимая для налаживания взаимопонимания внутри предприятия общая картина бизнес-процессов, которую можно построить, используя единую  систему управления предприятием. На третьем уровне решения задачи создавалось единое корпоративное хранилище данных предприятия, увязывающее все данные в удобном для бизнеса виде. Наконец, на четвертом уровне создается единая справочная система предприятия — увязка общекорпоративных данных осуществляется путем построения справочников, управляемых системами класса Master Data Management (MDM).

Самый примитивный — технологический — уровень был пройден достаточно быстро: на рынке появились различные шины данных, брокеры обмена данными и иное связующее ПО, предоставляющее доступ к данным, хранимым практически в любом формате. При этом выяснилось, что для эффективной работы одного доступа к данным еще недостаточно — различное интегрирующее ПО в конечном итоге дает только возможность формирования стандартного запроса. Такой запрос формирует не потребитель данных, а владелец источника. Например, веб-сервис, по сути, представляет собой уже готовый закодированный запрос, для формирования которого потребитель может только задавать его параметры и не более того.

Внедрение корпоративной системы управления также не привело к единой версии корпоративной правды — создатели систем ERP ожидали, что им будет предоставлен единый источник данных, однако фактически существенная часть справочников и атрибутов нормативно-справочной информации (НСИ) не попадала в автоматизируемые бизнес-процессы ERP и фактически терялась при переходе на новые системы. Другой сложностью было то, что внедрение ERP — процесс длительный, и НСИ продолжали вести в традиционном режиме, порождая множество версий. Наличие же нескольких ERP-систем делало ситуацию с доступом к НСИ (то есть работу с ней) фактически неразрешимой. Именно на стадии тотального увлечения ERP всерьез заговорили о необходимости формирования слоя метаданных — специализированных данных, описывающих данные компании и их взаимодействие.

Серьезным шагом на пути развития концепции метаданных стало создание корпоративных хранилищ, для которых метаданные — необходимый элемент, позволяющий сохранять ядро хранилища неизменным при изменении источников и стандартов отчетности. Изначально теоретическая концепция хранилища предполагала разделение НСИ и метаданных, однако проектный опыт показал, что подобное разделение не имеет смысла — во многих случаях просто невозможно отделить метаданные от НСИ (например, справочник оргструктуры предприятия во многих случаях определяет формат хранения данных о филиалах предприятия, являясь одновременно и метаданными, и НСИ). Так появилась концепция мастер-данных.

Мастер-данные — это данные, которые служат для эффективной группировки, сопоставления и аналитической обработки данных компании, но сами по себе предметом анализа не являются. Эффективное управление мастер-данными на сегодняшний день определяет возможность быстрого формирования любой корпоративной отчетности, полноценного сопоставления и анализа данных о различных аспектах деятельности компании, построения единой картины происходящих в ней процессов. Даже самая эффективная интеграция не позволит точно рассчитать, например, коммерческую производительность труда по видам деятельности [1]. Решение этой задачи требует сопоставления производственных данных (результатов работ), кадровых данных (учет работы персонала) и коммерческих данных (доход, прибыль), однако производственный, кадровый и коммерческий учет ведутся по-разному и опираются на различные регламенты и НСИ. Именно это в большинстве случаев не позволяет провести эффективное сопоставление данных: например, работа персонала в часах не «раскладывается» на виды продукции, к которым привязан доход. Для решения подобных задач компании вынуждены плодить отдельные системы дополнительного квазиучета (например, системы для функционально-стоимостного анализа — Activity Based Costing), а их создатели, в свою очередь, сталкиваются с тем, что для разработки методологии таких систем необходимо проанализировать исходные данные, которые невозможно собрать и сопоставить. Возникает замкнутый круг, поэтому рано или поздно приходит понимание того, что для эффективного управления компанией необходимы единые и актуальные мастер-данные — ядро всех управленческих инструментов.

На пути к единым мастер-данным

До недавнего времени имелось два подхода к решению задачи построения единых мастер-данных в компании: назначение «главного» и выделение «главного». Первый подход характерен для компаний, где большинство бизнес-проблем пытаются решить за счет внедрения ERP — одну из оперативных систем назначают «главной», ее версия мастер-данных признается эталонной, а все остальные системы должны на них опираться. Об успехе здесь можно говорить только в случае внедрения системы ERP, покрывающей все бизнес-процессы компании или хотя бы подавляющее большинство ключевых. Если в компании имеется несколько оперативных систем (обычно их как минимум три: финансовая, кадровая и производственная), то назначение «главной» приводит к ряду негативных последствий. Модуль ERP, признанный «главным», развивает и поддерживает только те аспекты НСИ, которые характерны для ее бизнес-области, а все иные аспекты ведутся искусственно, что существенно затрудняет работу «главного» модуля ERP. Например, кадровая НСИ включает зарплату работника, наряд-заказы и т. д., но в ней нет информации о бизнес-задачах, которые сотрудник выполнял, об оборудовании, на котором он работал, и т. д. — кадровой службе такая информация не нужна. Как следствие, все «неродные» изменения вносятся медленно, что снижает качество работы прочих бизнес-процессов, автоматизируемых «неглавными» системами. В конечном итоге в нарушение выбранного подхода в компании начинают развиваться несколько версий НСИ, и ситуация возвращается к исходной.

Подход с выделением «главного» более характерен для крупных российских компаний, сохранивших традиции отраслевой автоматизации. В таких компаниях создается отдельная система ведения НСИ, определяются регламенты ее изменения, ответственные за каждый справочник, и создается комитет, решающий вопросы пересечения и связывания справочников. Этот подход стабильнее первого, но и здесь есть свои подводные камни, например увеличение времени регламентного обновления НСИ. Для ввода новой бизнес-сущности приходится проводить длительный процесс согласования расширения НСИ, увязки с прочими справочниками и рассылки новой версии НСИ всем системам, ее использующим. Это может занять слишком много времени, что зачастую неприемлемо. Чаще всего ситуация с задержками обновления НСИ приводит к тому, что в рамках каждой оперативной системы появляется своя «внутренняя» НСИ, которая мало пересекается с НСИ других систем, поэтому ее начинают вести отдельно, а регламентное обновление централизованной системы ведения НСИ производят один раз в отчетный период, «для галочки». Все это фактически сводит ситуацию к исходной — за короткое время эталонная копия НСИ перестает быть адекватной оперативной ситуации в компании.

Master Data Management

Подход MDM предполагает разделение функций ведения справочной информации и управления единой моделью нормативно-справочной информации компании. Ввод отдельных справочников и атрибутов НСИ осуществляется в транзакционных системах, а система MDM отвечает за создание и поддержку единой модели справочной информации предприятия, за наполнение созданной модели выверенной и непротиворечивой информацией из транзакционных систем, а также за дистрибуцию полученной единой НСИ всем системам-потребителям, не имеющим своей справочной подсистемы.

В рамках процесса управления НСИ, в MDM ведется набор правил для обеспечения стандартизации, очистки, обогащения и дедупликации исходных справочников, поступающих из транзакционных систем. Кроме того, формализуется набор правил, позволяющий однозначно выявить «лучшие» атрибуты конкретного объекта НСИ и построить «золотую запись», содержащую наиболее полную информацию об объекте, сформированную путем анализа данных из всех систем компании. При этом целостность модели НСИ поддерживается за счет создания специализированной системы ведения НСИ на уровне метаданных, которая обеспечивает ведение единой информационной модели и увязку различных справочников между собой. Система MDM выполняет следующие базовые функции: обеспечивает централизованное ведение и хранение НСИ, используемой в различных системах организации; обеспечивает сбор, консолидацию, публикацию и распространение актуальной справочной информации, используемой в различных системах организации.

SAS MDM

В решении SAS MDM для ведения НСИ выделяется отдельное хранилище, обеспечивающее централизованное хранение, контроль целостности и качества данных. На базе этого хранилища выполняются правила ведения справочников, а также организуются справочники в виде сложных, в том числе иерархических, структур. Разграничение уровней доступа позволяет определять видимость и возможность редактирования информации с точностью до отдельного атрибута каждой записи.

Работа со справочными данными должна быть удобной и быстрой, поэтому визуальные формы в SAS MDM спроектированы так, чтобы максимально повысить эффективность и удобство работы со справочной информацией в повседневной деятельности. Пользовательский интерфейс системы должен также позволять максимально просто согласовывать и утверждать все изменения, производимые с мастер-данными в системе (рис.1).

 

Рис. 1. Интерфейс согласования и утверждения записи справочника SAS Master Data Management
Рис. 1. Интерфейс согласования и утверждения записи справочника SAS Master Data Management

 

Любая система MDM должна обеспечивать сбор и распространение справочной информации, поэтому в SAS MDM имеются инструменты для получения справочных данных из всевозможных систем и сервисов в пакетном или онлайн-режиме, а также механизмы для распространения эталонных данных по системам подписчиков.

Процесс обработки НСИ (рис. 2) в SAS MDM начинается с загрузки данных из внешних систем или загрузки данных через пользовательский интерфейс в различных форматах. К справочникам применяются правила очистки, стандартизации и обогащения (модуль SAS Data Quality). Модуль SAS Data Quality локализован и поддерживает русский язык. Далее данные помещаются в область временного хранения, где они проверяются бизнес-правилами для оценки их полноты и корректности. Записи, прошедшие проверку, сопоставляются, и по ним запускается процесс поиска дублей с образованием кластера и выделения «золотой записи». Записи, не прошедшие проверку, отправляются в очередь на ручное исправление (модуль SAS Data Remediation). Администратор данных, используя этот инструмент, может сам исправить данные либо инициировать процесс исправления и согласования среди владельцев данных (модуль SAS Task Manager). После исправления и согласования записи всеми участниками процесса запись сохраняется в хранилище в нужном кластере. Процесс согласования и утверждения настраивается отдельно для каждого справочника и имеет такие опции, как оповещение по электронной почте, SMS, счетчики времени, возможность вызова сторонних программ и сервисов, журналирование и т. д.

 

Рис. 2. Типовой процесс обработки справочных данных
Рис. 2. Типовой процесс обработки справочных данных

 

Технологическая платформа SAS MDM

В основе решения SAS MDM лежит технологическая платформа SAS Data Management Platform, ядро которой отвечает за извлечение, трансформацию, дедупликацию и распространение собранных справочных данных. Помимо технологий сбора и подготовки данных, важную роль в комплексном решении по управлению НСИ играют технологии обеспечения безопасного доступа уровня предприятия, механизмы формирования и поддержки цепочек согласования, а также современные средства формирования отчетности. Функциональные блоки SAS MDM, построенные на единой технологической платформе, приведены на рис. 3.

Рис. 3. Структура решения SAS MDM
Рис. 3. Структура решения SAS MDM

 

Бизнес-процесс управления справочными данными и НСИ включает следующие блоки:

  • управление НСИ (SAS Master Data Manager) — поддержка работы бизнес-пользователей с НСИ путем предоставления им набора функций для хранения, изменения и распространения справочных данных;
  • управление моделью данных НСИ (SAS MDM Data Model Manager) — средство разработки модели данных для аналитиков НСИ путем создания и редактирования структуры справочников компании и их атрибутов, а также описания взаимосвязей между справочниками;
  • ручная корректировка данных (SAS Data Remediation и SAS Task Manager) — поддержка бизнес-процесса ручной корректировки данных с привязкой к ролевой модели.

В состав технологической платформы решения SAS MDM входят пять функциональных блоков: блок администрирования (SAS Management Console) — единый инструментарий для настройки, управления ролевой моделью и разграничения прав доступа SAS, всех функций и подсистем решения; блок обеспечения интеграционных процессов (SAS Data Management) — инструментарий реализации необходимых для жизни системы интеграционных процессов (извлечение справочных данных из первоисточников любой технологии, трансформация и дистрибуция собранных справочников); блок качества данных (SAS Data Quality) — инструмент, позволяющий реализовать основные процессы подготовки (нормализации) и дедупликации справочных данных; блок управления цепочками согласования (SAS WorkFlow) — инструментарий для создания цепочек согласования и утверждения любой сложности в привязке к модели ролей приложения; блок формирования отчетности (SAS Visual Analytics) — инструмент для построения аналитической отчетности по всем этапам жизненного цикла НСИ.

Блок администрирования

Сервер метаданных SAS — это единый сквозной источник метаданных как для процессов ETL, так и для отчетности. Доступ к серверу осуществляется через панель управления компонентами — SAS Management Console.

Средства SAS Management Console позволяют настраивать логические серверы и элементы инфраструктуры SAS MDM (параметры их производительности — балансировку, кэширование и др.); задавать параметры библиотек данных SAS, а также параметры подключения и доступа к внешним источникам / базам данных; централизованно управлять всеми пользователями системы и определять роли / права доступа для всех объектов среды SAS (включая метаданные, данные, приложения, сервисы и др.).

Аутентификация пользователей и их авторизация для доступа к любому объекту системы (серверы, источники данных, таблицы, документы, витрины данных, отчеты и т. д.) осуществляются через единый сервер метаданных (SAS Metadata Server). Для каждого объекта системы можно определить права доступа к нему (на проверку существования, чтение, запись, удаление), установив правила как для отдельных пользователей, так и для групп с учетом наследования прав доступа. Хранение таких объектов системы, как отчеты, документы и витрины данных, может быть организовано в иерархической структуре с использованием папок/подпапок — в этом случае уровень доступа может быть задан для уровней иерархической структуры, при этом также реализуется наследование уровней доступа с верхних уровней иерархии к нижним.

Важным преимуществом интеграции всех элементов системы, включая различные процессы преобразования данных, отчеты и специализированные бизнес-приложения, на базе единого сервера метаданных является возможность проведения сквозного «анализа влияния», позволяющего оценить, на каких структурах, данных, витринах, отчетах и приложениях скажется изменение содержимого таблицы или отдельного поля в системе-источнике (прямой анализ влияния). Кроме этого, можно выявить изменения в процессах преобразования данных, которые могли повлечь изменение содержимого показателя в рамках витрины данных или ячейки отчета (обратный анализ влияния).

Интеграционный блок

Блок SAS/DataFlux Data Management Studio (DM Studio) позволяет подключать и извлекать данные из различных источников, преобразовывать их, консолидировать и доставлять в различные системы. DM Studio служит для создания и редактирования ETL-процессов, используемых бизнес-процессами SAS MDM, и поддерживает следующие функции: управление источниками данных, управление формированием и выполнением процессов на DataFlux Data Management Server, а также управление запуском пакетных задач и веб-сервисов на DataFlux Data Management Server.

Очистка данных

Для обеспечения качества данных с применением механизмов их исправления по настраиваемым правилам, устранения дубликатов записей и обогащения записей применяется набор инструментов SAS Data Quality. Основой блока очистки данных является база знаний качества данных (Quality Knowledge Base, QKB), включающая в себя описание методов, фонетических преобразований, словарей, правил построения кодов поиска и другие метаданные, необходимые для корректной очистки и дедупликации справочников в бизнес-процессе построения НСИ. Помимо готовых правил, поставляемых в составе SAS Data Quality, в платформу входит набор инструментов Customize, позволяющих создавать новые или перестраивать текущие правила под индивидуальные требования конкретного заказчика.

С 2007 года российские пользователи SAS MDM получают локализованную версию QKB RURUS для России, включающую характерную только для местного рынка информацию. QKB RURUS умеет работать с такими категориями, как имена (ФИО), названия организаций, телефоны, адреса, удостоверяющие личность документы и т. п. Предоставляемые трансформации позволяют производить грамматический разбор, стандартизацию, построение кодов нечеткого поиска, анализ текста по шаблону и другие операции.

Созданные в QKB определения технологически встраиваются в интеграционные потоки данных, создаваемые в интеграционном блоке.

Процессы утверждения и согласования НСИ

SAS WorkFlow описывает процессы, обеспечивающие управление работой сотрудников, путем автоматического назначения пользовательских задач и контроля сроков, а также автоматического выполнения сервисных задач.

На основе регламентированных бизнес-процессов организации создается процесс в SAS WorkFlow. При создании используются типовые конструкции: процессы, сервисы, условия, счетчики времени, вызовы программ. Также в рамках разработки процессов определяются пользователи, роли и группы, которые будут использоваться для назначения, согласования и утверждения задач. В SAS WorkFlow определяются точки сбора статистики исполнения процессов утверждения и согласования, характер сбора этой статистики, структуры данных, которые будут использованы для хранения статистики. Затем к каждому справочнику прикрепляется один или несколько процессов, в зависимости от условий задачи. Запуск процессов согласования и утверждения может быть инициирован пользователем либо в автоматическом режиме.

С помощью SAS WorkFlow администраторы и владельцы данных могут получать задачи на обработку некорректных записей, попавших в MDM. В едином пользовательском интерфейсе сотрудники могут видеть запись справочника с доступными для исправления атрибутами, описание ошибки и действия, определенные процессом для данного пользователя.

Блок формирования отчетности

За формирование отчетности по изменению справочных данных отвечает инструмент SAS Visual Analytics. Он позволяет бизнес-пользователям самостоятельно анализировать данные и получать точные, наглядные отчеты, а благодаря приложениям для мобильных устройств — работать с аналитической информацией, например, на iPad. С помощью SAS Visual Analytics можно создавать отчеты по качеству данных, по загруженным/выгруженным справочным данным, получать отчеты по электронной почте. В качестве источников данных для формирования отчетов разрабатываются витрины данных, агрегирующие требуемые данные из хранилища MDM.

Преимущества MDM

Существует мнение, что выгоды от использования решений MDM являются нематериальными и косвенными, однако можно на примерах разных отраслей оценить преимущества от внедрения MDM.

В банковской отрасли поглощения и слияния — частое явление, поэтому дедупликация мастер-данных, помимо сокращения затрат, позволяет найти возможности для развития сделок. Например, банк поглотил страховую компанию, и при консолидации данных о клиентах объединенной организации выяснилось, что один член семьи является клиентом банка, а другой — клиентом страховой компании. Почему бы тогда не предложить им «семейную» страховку? Для того чтобы у компаний появлялись подобные возможности, необходимо, чтобы данные правильно создавались, консолидировались и управлялись. Наличие MDM позволяет получить всесторонний взгляд на клиента, увеличить на 0,5–1,5% уровень сделок (up-sell и cross-sell) и повысить лояльность клиента, что очень важно, особенно на высококонкурентных рынках.

Предприятия ретейла каждый день сталкиваются с огромным количеством поставщиков, продуктов и их описанием. Постоянные проблемы синхронизации данных, необходимость поддержки различных форматов и протоколов обмена, различных моделей данных мешают совместному использованию информации о продуктах в разных системах предприятия, а также зачастую не позволяют получить полную информацию о товаре. Системы MDM дают возможность консолидировать и распространить информацию о продуктах различных поставщиков, повысить лояльность клиентов, доставляя им оперативную и подробную информацию о товаре.

Для сферы телекоммуникаций важно предоставлять хорошие сервисы для новых клиентов и постоянно улучшать сервис для уже существующих. При этом следует учитывать, что телекоммуникационный рынок весьма сложен — компании должны одновременно управлять клиентами, продуктами, текущим местоположением клиентов и их взаимосвязями. Например, один и тот же клиент, путешествуя по стране, хотел бы пользоваться различными услугами в каждом регионе, причем подключать их без задержек. Эти задачи решаются путем внедрения порталов самообслуживания, интегрированных с системами MDM.

***

Системы MDM позволяют получать унифицированные справочные данные, однозначно связывая различные подразделения и направления деятельности, уменьшая вероятность дублирования, разграничивая зоны ответственности между подразделениями, тем самым повышая эффективность работы отдельных специалистов и компании в целом. При наличии системы MDM решение задачи формирования и валидации регуляторной и сводной отчетности по компании в большей степени становится задачей автоматизированных информационных систем, а не бизнес-подразделений, с соответствующим сокращением времени формирования сводной отчетности. Кроме того, возможность построения единого бизнес-глоссария, доступного как бизнес-аналитикам, так и ИТ специалистам, позволяет однозначно связать бизнес-сущности и ИТ-объекты, тем самым устраняя разрыв между ИТ и бизнесом. SAS предлагает комплексное решение, с помощью которого можно реализовать бизнес-задачи формирования единого представления НСИ в организациях.

Литература

  1. Алла Токарева, Алексей Доронькин. Интеграция данных для систем MDM // Открытые системы.СУБД. — 2012. — № 9. — С. 42–45. URL: http://www.osp.ru/os/2012/09/13032511 (дата обращения 18.06.2014).

Кирилл Бутаев (Kirill.Butaev@sas.com) — менеджер по работе с ключевыми клиентами, Глеб Ларичев (Gleb.Larichev@sas.com) — старший бизнес-консультант по платформным решениям, Мария Ермакова (Maria.Ermakova@sas.com) — бизнес-консультант по платформным решениям, компания «SAS Россия/СНГ».