Технологии Business Intelligence сегодня стали важной и неотъемлемой частью процессов управления предприятием. Они не только поддерживают деятельность предприятия, но и позволяют выйти на более качественный уровень бизнеса. Однако при этом не обойтись без
Современный рынок диктует новые правила игры. Ужесточение конкуренции, постоянное изменение конъюнктурной ситуации, выход на российский рынок ведущих западных компаний требуют кардинального улучшения уровня производства, расширения ассортимента продуктов, изменения стиля управления компанией. Чтобы оптимизировать бизнес-процессы, сделать их простыми, динамичными и легкодоступными для восприятия, необходимо обрабатывать значительные объемы информации. При этом ситуация изменяется настолько быстро, что практически не оставляет времени для качественной проработки управленческих решений. На помощь менеджерам приходят информационные технологии, которые позволяют автоматизировать производство, управление финансами, складами и другими жизненно важными участками деятельности. Но как быть, если необходимая информация находится в разных системах, источниках, файлах, зачастую не связанных между собой? В этом случае необходимо объединить все информационные ресурсы предприятия в единое информационное пространство при помощи технологий интеграции. Согласованность, актуальность и доступность информации является важным элементом в процессе принятия решений и дальнейшего развития компании.
В основе — интеграция
Для принятия своевременных и обоснованных решений любому предприятию необходима надежная организация корпоративных данных. Чтобы выявлять факторы, влияющие на изменение ситуации, быстро реагировать на них и прогнозировать будущие результаты, необходимо предоставлять текущие и прошлые данные. Для этого нужно консолидировать информацию из различных источников, существующих на предприятии. Такими источниками могут быть системы ERP, CRM, финансовые системы и любые другие системы управления оперативной деятельностью, в которых осуществляются транзакционные операции. Данные должны быть извлечены, очищены (исправлены ошибки ввода), согласованы, агрегированы и приведены к единому стандарту, понятному и привычному для восприятия бизнес-пользователей. И это важно, так как работа только в терминах систем управления оперативной деятельностью компании вызывает затруднения.
При решении этих задач приходится сталкиваться с такими общими проблемами, как разрозненность данных, отсутствие консолидации и взаимосвязей, ошибки в записях и дублирование информации, множественность источников данных и многое другое.
Для консолидации информации используются различные методы и инструменты интеграции данных. Правильная постановка задачи, выбор технологии интеграции и реализация ее при помощи программных средств обеспечат предприятию контроль над информацией.
Основные технологии
Большая часть информации, необходимой для аналитических приложений, находится в системах управления операционной деятельностью предприятия, базах данных и отдельных файлах пользователей. Средства интеграции данных обеспечивают необходимую инфраструктуру для преобразования разрозненных исходных данных в единый корпоративный ресурс. Технологическим результатом применения процессов интеграции является корпоративное хранилище данных, которое обеспечивает данными аналитические приложения (Business Intelligence, BI) и приложения ИТ-поддержки процессов управления предприятием (Performance Management). Создается надежная информационная платформа для решения различных аналитических задач предприятия, поскольку хранилище содержит интегрированные данные, пригодные для применения в системах BI. При этом обеспечивается однородность представляемой информации, возможность получить историческую картину данных, анализ тенденций, предсказательное моделирование и прогнозирование.
Сегодня существуют и активно применяются две технологии интеграции данных. Это технология ETL (Extract-Transform-Load) и EII (Enterprise Information Integration), или федерализация.
ETL — технология, при помощи которой информация извлекается из структурированных источников, преобразуется по заданным правилам в режиме пакетной обработки в интегрированные и согласованные данные, пригодные для использования аналитическими приложениями. Затем эти данные загружаются в корпоративное хранилище и могут использоваться для подготовки отчетности, проведения анализа, для информационной поддержки принятия решений и других целей. При этом хранилище данных может быть источником данных для других приложений. С помощью инструментальных средств ETL создаются и отлаживаются процессы интеграции данных, которые затем можно использовать многократно. В процессе работы приложений ETL создаются метаданные, которые потом применяются в аналитических приложениях предприятия.
EII, или федерализация — это технология интеграции данных «на лету», из различных источников на основании пользовательских запросов, в режиме реального времени. Данные остаются в первичных источниках и физически не перемещаются. Источниками могут быть различные базы данных, пользовательские приложения и «плоские» файлы, находящиеся как внутри информационного пространства корпорации, так и вне его. Также в качестве источников могут выступать хранилища данных, созданные при помощи ETL-процедур. Федерализация обеспечивает представление всех этих источников в виде единого виртуального хранилища данных. Если пользовательское приложение генерирует запрос к нему, то инструменты федерализации извлекают данные из источников, интегрируют (маппируют) их в соответствии с требованиями запроса и заранее созданными правилами и отправляют результаты тому приложению, от которого пришел запрос. Все необходимые преобразования данных осуществляются по возможности в оперативной памяти сервера приложений и происходят в процессе их извлечения из первичных источников. Метаданные, создаваемые инструментальными средствами, в дальнейшем используются аналитическими приложениями. Важной особенностью процесса федерализации является возможность добавлять новые источники данных, оптимизировать механизмы запросов при помощи специальных средств и заранее созданной библиотеки правил в режиме реального времени.
Область применения
Выбор технологии интеграции данных на предприятии полностью зависит от уровня развития и требований бизнеса, структурного деления предприятия, уровня автономии подразделений и потребности в аналитических данных. Технология ETL применяется в том случае, если существует множество мест хранения информации и большое количество исторических данных, накопленных за время существования организации. Для эффективной работы аналитических приложений необходимо создать корпоративное хранилище надежных данных для исторического анализа и многомерных запросов. Технология ETL также применяется для интеграции важных справочных данных, корректировки и удаления дублирующихся данных, проверки качества данных и других важных задач.
Преимуществом технологии является возможность провести трансформацию и перемещение больших объемов данных, осуществив при этом процессы согласования, очистки и агрегации в процессе передачи от источника к хранилищу. ETL — основной метод интеграции данных в крупных и средних предприятиях, которым необходимо обеспечить интеграцию больших объемов данных и сочетание средств интеграции с уже внедренными на предприятии инструментами и приложениями BI (по данным исследований The Data Warehousing Institute).
Технология федерализации на глобальном уровне применяется при необходимости организовать на базе множества специализированных источников общую систему данных предприятия. В качестве источников могу служить специализированные репозитории данных, базы данных различных операционных систем, корпоративные хранилища данных и файлы пользователей. Все источники могут быть разнесены географически и организационно, но внутри иерархии хранилищ производится обмен данными, отчетами и другой информацией. При этом реализуется принцип автономии подразделений корпорации и осуществляется единый контроль за счет разграничения прав доступа. Такая структура называется федеративным хранилищем данных. На уровне предприятия технология федерализации может применяться при оперативной подготовке запросов к источникам данных и составлении отчетности. Данные хранятся в операционных базах и никуда не перемещаются, что важно при соблюдении мер безопасности, запрещающих копирование и перемещение информации.
Технологию федерализации экономически целесообразно применять в том случае, когда стоимость проекта интеграции данных по технологии ETL превышает выгоды. Кроме того, федерализация обеспечивает идеальную интеграцию данных при слиянии компаний. На первоначальном этапе федерализация используется как основной инструмент, а в дальнейшем, после внедрения средств ETL, как дополнительное средстводля более гибкого доступа к данным и автономности некоторых подразделений компании. Если инструменты ETL и федерализации реализованы на базе общей платформы, например Business Objects, то в результате работы этих приложений образуются метаданные, которые можно использовать при помощи общих аналитических приложений.
Благодаря технологиям интеграции данных создается основа для единого информационного пространства предприятия. Несмотря на различия, ETL и EII преследуют общую цель — предоставить пользователю согласованную и надежную информацию для качественно нового представления о бизнесе.
Дмитрий Ломакин — специалист по маркетингу ЗАО «Терн», Dmitri.Lomakin@Tern.ru