Интеллектуальный анализ данных и управление процессами

Готовую модель можно использовать для количественного анализа влияния факторов на издержки филиалов. В частности, построив зависимость модельных значений издержек от оборота (перекрестный анализ), можно оценить результат экономии на масштабах: чем больше оборот, тем меньше издержки.

Модель позволяет исследовать даже те факторы, которые не были в нее введены. Например, качество управления филиалом нельзя связывать непосредственно с его доходностью - на доходность влияют и другие факторы. Однако можно сравнить фактические показатели эффективности (например, издержки) с ожидаемыми, которые вычисляются с помощью построенной модели, а следовательно, в них учитывается влияние региональных и других факторов. Если ожидаемые издержки выше фактических, значит, эффективность работы филиала выше среднего, а это, скорее всего, вызвано высоким качеством управления (и наоборот).

Имея количественную модель, руководство компании может дифференцированно подходить к различным филиалам при установке целевых показателей их деятельности, поскольку модель позволяет оценить влияние объективных факторов на эффективность работы каждого филиала.

2.2. Окупаемость капиталовложений

Сегодня многие компании вкладывают огромные средства в развитие и использование информационных технологий, системы автоматизации производства внедряются почти на каждом предприятии. Но как оценить, насколько эффективно будет использоваться вычислительная техника и сложное программное обеспечение? Окупятся ли капиталовложения в эту сферу? Каким образом повлияет внедрение новой технологии на доходы предприятия и на производительность сотрудников? Ответить на эти вопросы сложно - срок окупаемости часто очень велик, а на эффективность работы компании влияют и другие факторы.

В качестве примера возьмем сеть магазинов розничной торговли, где устанавливалась информационная система для кассовых терминалов в 2000 точек сбыта. Объем инвестиций составил 75 млн. долл. Предполагалось, что благодаря внедрению новой системы удастся повысить уровень обслуживания клиентов. Однако после вложения четверти денежных средств возникли сомнения в окупаемости проекта.

Задача оценки окупаемости инвестиций оказалась сложной. Влияние именно этих капиталовложений на рост валовой прибыли в каждом отдельном подразделении необходимо было отделить от влияния других факторов: квалификации менеджеров, расширения филиала, недавних затрат на ремонт и т.д. По всем торговым точкам были собраны данные о перечисленных факторах, а также информация о росте доходов и о том, сколько месяцев, прошло с момента внедрения информационной системы. Чтобы оценить эффективность внедряемой системы нужно было построить модель роста доходов в зависимости от комбинации данных факторов. С помощью системы 4Thought был проведен анализ взаимозависимости с целью получения количественной оценки воздействия каждого фактора в отдельности.

Рис. 1. Зависимость прибыли компании от срока внедрения новой информационной системы

Представленный на рис. 1 график показывает, что чем дольше работает информационная система (горизонтальная ось), тем больше рост прибыли (вертикальная ось). В частности, видно, что инвестиции полностью окупятся в течение 12 месяцев. Получив такую информацию, менеджеры без колебаний решили продолжить вложение оставшихся 75% средств. Попутно выяснилось, что учет различных факторов при построении позволил выявить дополнительные причины роста прибыли в точках сбыта - такой фактор как повышение квалификации менеджера положительно влияет на доходы фирмы.

2.3. Оптимизация цен

Одно из самых полезных приложений нейроаналитики - оптимизация цен. Очевидно, чем больше цена на товар, тем выше прибыль от его продажи. Однако по мере повышения цены объем продаж начинает снижаться, и, может так случиться, что товар перестанут покупать совсем. Но если цена слишком низкая, то получить прибыль от сбыта не удастся. Необходимо установить некоторое промежуточное, оптимальное значение. В системе 4Thought для решения этой задачи путем анализа данных о продажах за прошедший период выясняется, как меняются издержки и объемы продаж в зависимости от цены на товар?

Величина оптимальной цены зависит от реакции клиентов на изменение цен, от себестоимости объема производимой продукции, а также от внешних факторов. Например, она может меняться от региона к региону или зависеть от ценовой политики конкурентов.

Компания, занимающаяся ремонтом автомобилей, использовала 4Thought для выставления оптимальных цен на свои услуги. Чтобы определить чувствительность клиентов к изменению цен, система должна установить, каким образом в прошлом менялся спрос на продукт в зависимости от различных факторов (и не только цены). Что касается компании по ремонту автомобилей, то здесь необходимо было промоделировать изменение спроса в зависимости от цен на услуги самой фирмы, среднего уровня цен конкурентов, времени года, расходов на рекламу, а также определенных изменений в законодательстве, которые повлияли на структуру рынка. Были собраны данные за три года. Информацию о ценах конкурентов удалось получить от менеджеров филиалов, которые хорошо знакомы с деятельностью других фирм.

Чтобы определить, какие факторы влияют на спрос, была построена модель изменения объема продаж в соответствии с ценами на услуги, уровнем цен конкурентов, временем года и расходами на рекламу. Эта информация использовалась для оценки соотношения цена/объем продаж.

Рис. 2. Зависимость спроса от цен на услуги

На рис. 2 показано, как растет спрос на услуги (вертикальная ось) при снижении цен (горизонтальная ось). Чтобы определить оптимальную цену, необходимо построить модель расходов, показывающую, каким образом меняются расходы в зависимости от объема продаж. Расходы - расчетная величина, которую можно ввести в модель с помощью вычисляемого столбца (его значения вычисляются по формуле исходя из значений других столбцов в электронной таблице данных). Комбинируя модели продаж и расходов, можно получить полную картину влияния различных факторов на прибыльность бизнеса. В частности, можно установить зависимость между ценой и прибылью.

Рис. 3. Зависимость прибыли компании от цен на услуги

На рис. 3 показана модель изменения прибыли (вертикальная ось) в зависимости от изменения цен на услуги (горизонтальная ось). Таким способом удается определить оптимальную цену для любой другой отрасли бизнеса. Компания по ремонту автомобилей использовала полученную информацию для установления цен на свои услуги, при этом только за счет правильного ценообразования ей удалось повысить прибыль на несколько млн. долл.

Рассмотренная методика использовалась и другими компаниями для решения различных задач, в том числе:

• оценки реакции клиентов на выпуск новых марок продукции и на внедрение программы учета потребностей заказчика;
• предсказания реакции конкурентов на ту или иную ценовую политику и использование результатов для разработки игровых моделей конкуренции;
• оценки стоимости и влияния на прибыль различных ценовых стратегий.

2.4. Прогноз спроса на новую продукцию

Если компания регулярно выпускает новую продукцию одного и того же типа (книги, фильмы, игры), то она может предсказывать успех или неудачу нового товара на рынке, исходя из своего предшествующего опыта. Проанализировав изменения спроса на подобную продукцию в прошлом можно предсказывать спрос на товар; выяснять, что делает продукцию популярной, и таким образом соответственно повышать качество товара; определять, какие продукты стоить продвигать на рынке особенно интенсивно.

Например, можно прогнозировать спрос на видеокассеты с новым фильмом, промоделировав зависимость объема продаж от таких факторов как число снявшихся в фильме кинозвезд, количество выпущенных копий фильма, срока, в течение которого фильм шел на широком экране, статей критиков, жанра фильма (драма, комедия, боевик и т.п.). Такие данные можно получить, исходя из опыта продаж предыдущих фильмов. Методы нейроаналитики в данном случае прекрасно подходят, так как они применимы для обработки сложных и сильно зашумленных данных. Такие системы как 4Thought и SENN дают приемлемые результаты даже для небольших объемов разрозненных данных.

2.5. Маркетинговый анализ

С помощью методов моделирования, реализованных в 4Thought, можно выявить влияние отдельных элементов на эффективность маркетинговой стратегии. Задача решается путем оценки воздействия каждого из факторов на объем продаж коммерческой фирмы. При этом в модели важно учитывать не только маркетинговые факторы.

Рассмотрим пример анализа эффективности различных маркетинговых стратегий предприятия по производству кондитерских изделий. Реализованный в системе 4Thought метод градиентного спуска по поверхности ошибки обеспечивает надежность модели даже при анализе относительно небольших по объему и зашумленных данных, что очень пригодилось в данном случае.

Основные факторы, определяющие объем продаж: сезонность, реклама, затраты на продвижение новых изделий (процент продукции, предлагаемой бесплатно) и количество дистрибуторов. При анализе использовались данные за последние 4 года работы.

Рис. 4. Зависимость объема продаж от затрат на продвижение продукции на рынке

На рис. 4 показано, каким образом затраты на продвижение продукции (горизонтальная ось) влияют на объем продаж (вертикальная ось). Точно также можно построить графики зависимости объема продаж от затрат на рекламу. Подробный анализ дает количественную оценку эффективности разнообразных маркетинговых подходов. Чтобы определить соотношение между затратами и эффективностью необходимо учесть средства, вложенные в то или иное направление маркетинговой деятельности.

Выбор оптимальной маркетинговой стратегии для каждой компании индивидуален. Методы нейроаналитики позволяют выбрать наилучший подход в каждом конкретном случае. Примерно половина пользователей 4Thought, среди которых множество рекламных компаний и крупнейших производителей товаров массового потребления, используют эту систему именно для маркетинга.

Определив наиболее удачные направления маркетинговой деятельности, можно выяснить причины их эффективности. Отреагировал ли потребитель именно на этот вид рекламы? Важны ли в данном случае выбранные методы распространения продукции? В какой степени полученные результаты позволяют выявить лидера на рынке? Такой анализ позволит не только оценить, но и повысить эффективность деятельности компании.

2.6. Анализ эффективности продажпо регионам

Оценим теперь потенциальную эффективность региона с точки зрения возможного объема продаж. Производитель ведет продажи через своих торговых представителей в регионах. Необходимо установить, какие регионы являются наиболее перспективными, а также оценить работу представителей. Обычно решить эту задачу довольно сложно из-за множества факторов, влияющих на эффективность.

В качестве целевых показателей были выбраны объем продаж на душу населения и на единицу счета, а в качестве факторов - плотность населения, расходы на туризм (внутри страны и международный) на душу населения, количество розничных магазинов на душу населения, затраты и т.д. По результатам моделирования удалось выявить зависимости исследуемого показателя от выбранных факторов (почти все они оказались нелинейными).

С помощью модели удалось решить две задачи:

• оценить качество работы каждого торгового представителя и выявить регионы, в которых следует иначе организовать работу по продажам (если объем продаж в регионе ниже ожидаемого, то можно предположить, что представитель недостаточно активен);
• определить методы оптимизации улучшения работы в регионах (Рис. 5) путем сравнения фактической эффективности региона и модельной (средней).

Рис. 5. Оценка относительной эффективности по регионам

 3. Система SENN Sales

Данный продукт представляет собой специализированное средство для интеллектуального анализа данных в финансовой и коммерческой сферах. Как и 4Thought, эта система работает на платформе ПК, а также может загружать информацию из корпоративных баз данных без ограничений на количество столбцов и строк в таблицах. В сущности, сферы применения обеих систем одни и те же. SENN Sales используется для решения задач профилирования клиентов, маркетингового анализа, прогнозирования спроса и т. д. Рассмотрим опыт ее применения для прогнозирования финансовых рядов.

Надежное и точное прогнозирование фьючерсных курсов обмена валют, кредитных ставок, цен и динамики продаж позволяет заключать выгодные международные валютные сделки, формировать финансовые и инвестиционные пакеты, давать точную оценку текущей ситуации на рынке и т.д.

Данные за прошлые периоды (индексы, курсы обмена, кредитные ставки и кривые продаж) содержат структурные зависимости, выявив которые, можно определить поведение системы в будущем. Используя метод моделирования, обеспечивающий точное воссоздание динамики поведения системы, можно описать зависимости в имеющихся данных и построить прогноз. Нейронные сети оказались самым подходящим инструментом для решения задач прогнозирования сложных динамических зависимостей, по сравнению, например, с регрессионными алгоритмами или нечеткой логикой.

3.1. Прогнозирование курса обмена $/DM

Использование нейронных сетей позволяет строить интегрированные самосогласованные модели для нескольких различных валют, причем система дает при этом более точный результат, чем пакеты, построенные на основе традиционных методов. Таким образом можно минимизировать риск потерь при валютных операциях в ходе заключения международных сделок.

3.2. Прогнозирование индексов (DAX, REX и др.)

Моделирование индекса DAX фондовой биржи представляет интерес для инвестиционных компаний, которые могут использовать модельные прогнозы для оптимального размещения финансовых средств. В частности, одной из таких компаний, по данным за период январь 1992 г. - апрель 1996 г., удалось построить модели динамики индекса. Эти модели применялись для принятия решения о последовательности покупок/продаж, что позволило компании существенно повысить прибыль.

Моделирование индекса REX представляет интерес для банков, промышленных и коммерческих компаний. При работе с кривыми изменения кредитных ставок речь, как правило, идет о долгосрочных проектах, поэтому срок, на который составляется прогноз, обычно исчисляется месяцами, а не днями. В рассматриваемом примере изменения REX-индекса фиксировались и прогнозировались для полугодовых интервалов. Обучение и тестирование модели проводили по данным за 1974-1989 гг. Затем строились прогнозы, начиная с даты воссоединения Германии. При этом можно было наблюдать, насколько более точным становится прогноз после ослабления влияния политических событий на экономическую ситуацию. Это говорит о том, что модель адекватно отражает внутреннюю структуру рассматриваемой системы. Полученная модель позволила определять длительность циклов изменения кредитных ставок и обоснованно планировать инвестиции.

3.3. Оптимальное управление портфелем ценных бумаг

При решении данной задачи с помощью системы SENN результаты прогнозирования доходов от капиталовложений обрабатывались методами принятия оптимальных решений. Сначала для определения наилучшего способа размещения капитала рассматривался индекс фондовой биржи, а также долгосрочные и краткосрочные кредитные ставки для каждой из стран (Англия, Франция, Германия, Япония и США). При этом были приняты во внимание изменения в системе счетов в Европе и странах большой семерки, вызванные появлением на финансовых рынках новой европейской валюты. При традиционном подходе к управлению портфелем прогнозируется доход на каждую из статей капиталовложений: с помощью методов нейроаналитики была получена ставка дохода 21%. На основе построенных моделей была разработана стратегия размещения фондов, оптимизирующая доход от капиталовложений для портфеля активов и оценивающая возможные риски.

 4. Система NeuralWare Predict

Специалистов по нейронным сетям, наверняка заинтересуют инструментальные средства фирмы NeuralWare, которая с 1997 г. входит в состав компании Aspen Technology (США). NeuralWare предлагает ряд программных продуктов, позволяющих решать задачи конструирования новых видов нейронных сетей, их применения для оперативного управления различными процессами и для интеллектуального анализа данных. Эти продукты обеспечивают гибкость как при построении сетей, так и при их интеграции в другие приложения.

Проводить ИАД в бизнес-приложениях удобнее всего с помощью пакета NeuralWorks Predict, интегрированный с MS Excel. По сравнению с 4Thought и SENN Sales этот пакет предоставляет более широкие возможности выбора и настройки архитектуры сети, правда, работа с ним требует от пользователя более глубокого знания теории нейронных сетей.

Другая область применения пакета - интеллектуальный анализ данных для управления процессами, например, в нефтепереработке. Нейросетевые технологии используются здесь для создания дедуктивных датчиков. Проблема состоит в том, что в системах управления процессами не все существенные показатели можно измерять оперативно. В таких случаях приходится брать образцы для лабораторного анализа, который либо очень дорого обходится, либо занимает слишком много времени (от нескольких часов до нескольких суток). Предлагается использовать возможности нейронных сетей по моделированию нелинейных зависимостей для оперативного измерения труднодоступных показателей. Сети обучаются на данных о состоянии процесса в момент взятия пробы и соответствующих результатах лабораторных исследований.

Использование дедуктивных датчиков обеспечивает высокий экономический эффект за счет повышения качества управления процессами (и качества самой продукции), снижения затрат на лабораторные испытания и т.д. Эти датчики также могут интегрироваться в более сложные системы управления процессами, например, DMCPlus (Aspen Technology).

В марте 1998 г. компания Aspen Technology, специализирующаяся в области программного обеспечения управления процессами (в химической промышленности, нефтепереработке, электроэнергетике, фармацевтике и т. д.), объявила о выпуске нового специализированного продукта для реализации дедуктивных датчиков - IQmodel. Этот продукт развивает подход, использовавшийся ранее в NeuralWorks Predict. Рассмотрим его основные особенности и достоинства.

Рис. 6. Линейная регрессия для данных о процессе с одним входом (ось Х) и одним выходом (ось Y)

Очевидно, что важно не число анализируемых данных, а количество информации в них. Например, в том случае, когда большая часть данных о процессе собрана в относительно узком диапазоне (типичная ситуация при сборе данных о стабильно протекающем процессе) то, как видно из рис.6, линейная регрессия с минимизацией среднеквадратичной ошибки даст неверное решение. Для решения этой проблемы в IQmodel применяется алгоритм интенсификации данных.

При построении дедуктивного датчика проектировщик должен выбрать необходимый и достаточный набор входных переменных. Традиционный подход предполагает построение модели для всех переменных-кандидатов с последующим анализом чувствительности выходного параметра по каждому из входных. Однако этот метод имеет ряд недостатков, и в первую очередь он не подходит для сильно коррелированных входных параметров. В IQmodel реализован каскадный генетический алгоритм поиска эффективного подмножества входных переменных. После комбинаторного перебора этот алгоритм обеспечивает хорошие результаты, причем в приемлемое время.

Дедуктивный датчик должен обладать способностью к экстраполяции. Нейросетевые дедуктивные датчики обеспечивают довольно точный прогноз для данных из диапазона обучающей выборки, но за ее пределами результаты становятся неуправляемыми. Линейные датчики дают более грубые решения в пределах обучающей выборки, однако за ее пределами сохраняют удовлетворительное качество прогноза. Для решения этой задачи в IQmodel реализованы:

• гибридные сети, позволяющие переключаться между нейросетевыми и линейными датчиками в зависимости от входных данных, а, следовательно, степени доверия к тому или иному способу прогнозирования;
• нечеткие линейные датчики, которые обеспечивают корректные результаты для сильно разреженных данных с учетом непрерывности моделируемых процессов.

В системе применяются специальные приемы анализа сильно коррелированных данных, которые позволяют из множества формально корректных моделей отбирать ту, которая наилучшим образом поддерживает структуру взаимосвязанных данных.

Многие продукты разработаны так, что пробы для лабораторных испытаний делаются в ходе стационарного течения процесса, поэтому в качестве исходных данных берут усредненные значения по довольно большим временным интервалам. Реально это приводит к снижению точности прогноза. В IQmodel реализованы специальные методы для создания более точных динамических моделей.

В процессе эксплуатации моделей можно оперативно проводить их проверку и уточнение (калибровку). Таким образом, IQmodel, наряду с другими продуктами Aspen Technology, позволяет охватить все стадии разработки, использования и сопровождения дедуктивного датчика.

 Заключение

За последние несколько лет методы нейроаналитики доказали свою способность успешно решать сложные практические задачи. Сегодня происходит интеграция этих средств в сложные системы управления и анализа.

В бизнес-приложениях наибольший интерес представляет интеграция методов интеллектуального анализа данных с технологией OLAP (как, например, это сделано в семействе BI фирмы Cognos). OLAP использует многомерное представление агрегированных данных для быстрого доступа к важной информации и дальнейшего ее анализа.

Системы OLAP обеспечивают аналитикам и руководителям быстрый последовательный интерактивный доступ к внутренней структуре данных и возможность преобразования исходных данных с тем, чтобы они позволяли отразить структуру системы нужным для пользователя способом. Кроме того, OLAP-системы позволяют просматривать данные и выявлять имеющиеся в них закономерности либо визуально, либо простейшими методами (такими как линейная регрессия), а включение в их арсенал нейросетевых методов обеспечивает существенное расширение аналитических возможностей.

Успешное применение методов ИАД и OLAP предъявляет серьезные требования к построению баз данных, а также к качеству содержащейся в них информации. К сожалению, многие отечественные компании не могут пока воспользоваться новейшими технологиями обработки информации именно из-за некорректной организации своих данных. Однако отдача от внедрения методов OLAP и ИАД достаточно велика, чтобы крупные компании могли провести реорганизацию имеющихся БД и перейти к технологии хранилищ данных.

Литература

Марина Шапот. Интеллектуальный анализ данных в системах поддержки решений. //Открытые системы № 1, 98 с.30-35