Производительность новых и уже существующих хранилищ данных можно повысить на порядок
Суммарные инвестиции предприятий в технологии хранилищ данных скоро достигнут 24 млрд. долл. Построение хранилищ, как правило, обходится весьма недешево, но компании и рассматривают эти вложения как стратегические.
Однако эти затраты окупаются, так как анализ данных, накопленных в компаниях за достаточно длительный период, позволяют находить новые источники прибыли и способы повышения эффективности работы.
Сегодня крупные компании хранят сотни гигабайт данных. Для банков это запись всех транзакций, для предприятий розничной торговли — информация о покупках и т. д.
Для того чтобы возможно было произвести анализ, данные должны быть соответствующим образом подготовлены (например, проиндексированы), что в традиционных хранилищах приводит к разбуханию исходных размеров данных — в некоторых случаях, на порядок.
Компания Sybase для уменьшения размеров инвестиций в хранилища предлагает систему Adaptive Server IQ. Представительство компании провело семинар, посвященный применению этого продукта.
Ведущий консультант Sybase по системам бизнес-аналитики Терри Винкелманс отметил, что Adaptive Server IQ представляет собой СУБД, оптимизированную для анализа данных на физическом уровне.
Например, однородные данные в IQ хранятся по колонкам, а не по рядам, что уменьшает время считывания данных с диска при аналитических запросах.
Практически на все колонки можно завести индексы, что значительно повышает скорость обработки запросов.
За счет «поколоночного» хранения данных в виде индексов данные сжимаются на 10-90%. Кроме того, в Adaptive Server IQ предварительное агрегирование не обязательно, так как незапланированная агрегация выполняется в данной программе достаточно быстро.
По словам Винкелманса, Adaptive Server IQ очень прост в управлении, устанавливать и администрировать его намного легче, чем любые традиционные СУБД.
«IQ не требует хранения данных обязательно в привязке к какой-то конкретной схеме, он работает с любыми моделями данных, — подчеркнул Винкелманс. — Построить хранилище данных на базе данной технологии и получить от него отдачу можно очень быстро, перенеся в хранилище существующие модели оперативной обработки транзакций».
Открытая архитектура IQ позволяет включить его в существующую информационную инфраструктуру; программное обеспечение может работать с продуктами Oracle, Microsoft, IBM, NCR и т. д.
Adaptive Server IQ спроектирован для решения задач аналитических, а не транзакционных.
«Современные реляционные СУБД хорошо приспособлены для систем оперативной обработки данных (OLTP), где важен быстрый доступ к конкретной строке и частая модификация данных. Но при работе с системами поддержки принятия решений (DSS) нет необходимости иметь дело со всей строкой целиком, достаточно определенного набора полей. Тем более что чтение всей строки делает невозможным одновременную работу большого количества пользователей со сверхбольшими базами данных. Здесь как раз оправданно применение Adaptive Server IQ», — отметил руководитель проектов Sybase CIS Александр Козик.