Проблема ETL для экосистемы 1С: решение и опыт

Технологическая независимость невозможна без замены западных ERP-систем и систем бизнес-аналитики на отечественные. Однако, далеко не для каждого российского учетного решения имеются эффективные инструменты ETL автоматической выгрузки любых данных для их последующего анализа в отечественных аналитических системах: Yandex Datalens, Analytic Workspace, Visiology, и др. Доклад посвящен обсуждению решения проблемы баз 1С – извлечение данных для построения хранилищ и систем аналитики. Особое внимание уделено разбору основных типовых методов, а также обсуждению их преимуществ и недостатков, включая обзор распространенных ошибок при выгрузке данных из баз экосистемы 1С.

Развитие платформы и решений для управления данными

.

Каталог данных современного предприятия

.

MDM – основа проектов импортозамещения

.

Инструменты работы с данными: платформа А/B-тестирования для проведения экспериментов

Эффективность тех или иных изменений в магазинах розничной сети сегодня оценивается на основе данных. Платформа А/B-тестирования – один из достоверных способов выяснить, что изменение продаж произошло именно за счет воздействия конкретного фактора. Доклад посвящен обсуждению инструментов и подходов к организации работы бизнес-специалиста, позволяющих ему самостоятельно обрабатывать и анализировать данные, принимая взвешенные решения на их основе, планировать эксперимент и оценивать эффективность своей бизнес-идеи.

Как повысить управляемость цифровым портфелем: Data Governance

В результате выполнения ряда проектов по цифровизации, сегодня в компании эксплуатируются десятки цифровых продуктов и платформ, каждая со своими форматами данных и интерфейсами, что вызывает определенные сложности в управлении. Доклад посвящен анализу уроков, полученных при создании цифровых продуктов, а также возникающих проблем при их применении. Особое внимание уделено обсуждению решения с помощью процессов Data Governance задачи улучшения управляемости цифровым портфелем, а также повышения эффективности и прозрачности входящих в него продуктов.

Как перестать беспокоиться и полюбить управление данными

По мере развития цифровых сервисов у многих сотрудников компаний обычно возникает ряд вопросов. Как подобные инициативы повлияют лично на меня и насколько вообще изменится моя работа? Какие сложности предстоит преодолеть, прежде чем изменения станут неотъемлемой частью процессов и начнут восприниматься как преимущество? Доклад, по сути, посвящен обсуждению эволюции корпоративной культуры работы с данными путем анализа изменений в работе сотрудников, создающих и изменяющих данные при формировании корпоративной отчетности объединенной цепочки поставок, что, в конечном итоге, влияет на результаты бизнеса.

Внедрение системы мониторинга и обеспечения качества данных. Пример расчета финансового эффекта

Внедрение полноценной системы контроля и мониторинга качества данных требует значительных ресурсов, включая привлечение компетентных дорогостоящих специалистов в области управления данными. Цель – «Данные должны быть достоверны и пригодны для использования в бизнес-процессах организации и для удовлетворения требований регуляторов». При этом любая инициатива по внедрению системы обеспечения качества данных сталкивается с необходимостью финансового обоснования инвестиций, расчета окупаемости проекта. Доклад посвящен ответу на вопрос: как, выстроенная в Банке система обеспечения качества данных помогает достигать финансового эффекта в рамках проекта по переходу на расчет кредитного риска с использованием внутренних рейтингов (ПВР). Основное внимание уделено разбору практических кейсов влияния качества данных на компоненты расчета кредитного риска и нормативов.

Решения для хранения, обработки и управления данными

Единая платформа больших данных, разработанная на основе методологии Data Mesh объединяет озера данных и хоранилища, включает в себя подключаемые модули, которые позволяют, в том числе, регистрировать дата-продукты и использовать их в стороннем домене. Благодаря этой методологии, компании могут обогащать свои данные из сотен смежных доменов, повышая эффективность работы корпоративных проектных команд. Однако, для унификации терминологии и обеспечения ее единообразного использования в рамках организации требуется глоссарий – важнейший инструмент для создания и выполнения бизнес-процессов, ведения и выстраивания онтологии. Доклад посвящен обсуждению процесса создания глоссария бизнес-терминов, а также соответствующей методологии и конструктивных решений. Особое внимание уделено ответу на вопрос – как глоссарий бизнес-терминов может стать платформой по управлению данными и дать возможность автоматизировать процессы сбора, хранения и анализа данных для повышения эффективности работы организации.

Рынок труда: прогнозы, оценки навыков и зарплат

.

Как построить систему self-service для аналитики и в разы ускорить обработку данных

.

Особенности анализа данных в некоммерческих организациях

Благотворительный фонд «Дети-бабочки» с 2011 года помогает детям, страдающим генными дерматозами – поражающих кожу наследственными заболеваниями. Одна из главных задач Фонда — наладить эффективную систему оказания медицинской помощи больным. Для этого в Фонде внедрена система «Регистр генетических и других редких заболеваний», поддерживающая базу по подопечным Фонда: персональные данные, медицинские показания, информация по оказанной помощи и пр., – более тысячи характеристик. Для усовершенствования прогнозов по объемам помощи, необходимой подопечным Фонда применяется система Analytic Workspace. Доклад посвящен обсуждению особенностей прикладных аналитических задач, решаемых некоммерческими организациями: формирование эпидемиологической и медицинской аналитики, контроль работы фандрайзинга, прогнозирование развития состояния подопечных, прогнозирование объемов необходимой помощи. Особое внимание уделено анализу опыта разработки, развития, внедрения и сопровождения аналитических решений, предназначенных для управления процессами и поддержки функционирования некоммерческих организаций.

Интеграция приложений и управление данными на базе единой платформы low-code

Объемы данных и интенсивность их потоков внутри компании постоянно растут и в определенный момент руководство будет вынуждено всерьез озаботиться проблемой управления данными. Как понять что уже пора? Как всем этим управлять? Когда качество данных становится решающим фактором, влияющим на принятие ключевых бизнес-решений? Какие имеются предпосылки внедрения решений для управления данными? Доклад посвящен ответам на эти и другие вопросы, а также обсуждению важности наличия в компании единого центра управления данными. Особый акцент сделан на том, как не упустить самое главное – на что следует обратить внимание при реализации проекта автоматизации управления данными компании.

Оценка эффективности подразделений: SLA

Для выполнения различных производственных- и бизнес-задач в компании создаются разные структурные блоки и подразделения – как заставить их постоянно думать об оптимизации своих расходов и увеличении производительности и доходности? Сегодня активно развиваются методы применения SLA, построенного на анализе корпоративных данных и выполняющего роль инструмента, заставляющего подразделения интенсивно развиваться. Доклад посвящен обсуждению особенностей внедрения внутренних SLA в различных подразделениях компании, выполняющих роль цифрового двойника услуг и процессов. Особое внимание уделено созданию карты показателей эффективности подразделений и их расчета на базе Корпоративного Хранилища Единых Интегрированных Данных.

На пути к демократизации данных

Развитие всей совокупности инструментов управления данными должно определяться их пользой для бизнеса, оцениваемой не только в количественных, но и в качественных показателях. Одним из признаков культурных изменений в компании является освоение и применение широкой аудиторией сотрудников навыков самостоятельного анализа данных, активного использования аналитического инструментария в том числе для самостоятельной разработки. Доклад посвящен обсуждению опыта создания и развития инструментов самообслуживания платформы данных. Особое внимание уделено анализу полученных результатов и особенностей выстраивания бизнес-процессов в условиях децентрализованной модели управления данными.

Интеграция данных: связь между транспортом и MDM

Интеграции активно используется для обеспечения эффективного взаимодействия многочисленных информационных систем, получающих и обрабатывающих мастер-данные, что является залогом для обеспечения целостности и актуальности корпоративной информации. Основная проблема, с которой мы столкнулись при интеграции данных и приложений – применение только REST API для эффективной интеграции недостаточно, что и инициировало поиск новых подходов и решений. Доклад посвящен обсуждению особенностей развития инструментов межсистемной интеграции: проблемы и вызовы, оказавшие влияние на функционал средств интеграции; механизм сбора данных на основе транспорта – как данные используются в качестве мастер-данных в компании; преимущества и трудности, связанные с построением источника мастер-данных на основе шины данных. Особое внимание уделено анализу подходов, применявшихся к интеграции с MDM-системой – недостатки и пути их оптимизации.

Секреты создания каталога данных

Данные сегодня стали ценным активом и накапливаются компаниями в гигантских объемах. Как не запутаться в масштабных объемах сохраненной и доступной для анализа информации? Как найти именно тот кусок сведений, нужных для ответа на текущий вопрос? Доклад посвящен обсуждению опыту поиска ответов на эти и другие вопросы. Особое внимание уделено анализу масштаба проблемы поиска данных, разбору способов ее решения и возможных ошибках на этом пути.

Корпоративная культура работы с данными – бытие ли определяет сознание?

В организациях с каждым годом растет необходимость выстраивания современной функции управления данными (Data Governance). Эта задача влечет за собой комплекс изменений, требующих своей реализации в определенной последовательности: выстраивание процессов по работе с данными, интегрированными в сквозные процессы компании; изменение подходов к управлению архитектурой, включая глобальную реорганизацию ИТ-архитектуры; развитие и корректировка методологий управления изменениями и проектами; трансформация операционной модели; построение экосистемы управления данными. И везде важную роль играет корпоративная культура, которая может стать одним из ключевых факторов, влияющих на трудоемкость, длительность, стоимость и успешность реализации каждого конкретного изменения. Доклад посвящен обсуждению типовых «ловушек» на пути к формированию корпоративной культуры. Особое внимание уделено разбору интересных уроков практики внедрения изменений.

Особенности национальной охоты за данными

Результатом начавшегося в 90-х годах прошлого века бума цифровизации ТЭК в России стало появление на предприятиях отрасли сотен различных ИТ-систем, разработанных в разное время и оперирующих разноформатными данными. Вместе с тем, именно совокупность данных из этих систем стала сегодня основой планирования и принятия руководителями взвешенных управленческих решений, качество и полнота которых непосредственно влияет на эффективность работы предприятия. Доклад посвящен обсуждению опыта создания единого корпоративного информационного пространства на основе отраслевых онтологий и отечественной интеграционной шины данных, решающей задачи унификации форматов хранящихся в различных ИТ-системах данных, а также их аккумуляции до получения полной и единой версии правды.

Корпоративные аналитические платформы: проблемы и решения

Современные компании сталкиваются с интенсивным ростом объема накопленных данных и соответствующим усложнением архитектуры своих внутренних аналитических платформ. Вместе с тем возрастает потребность в масштабировании пространства принятия решений на основе анализа всех данных, доступных организации, а также устранении сопутствующих технологических и административных барьеров – классическая архитектура платформы данных, основанная на монолитном корпоративном хранилище, не всегда способна обеспечить адекватное решение подобных задач. Доклад посвящен обзору новых технологий работы с данными (Apache Iceberg, Apache Arrow, CedrusData/Trino и пр.), позволяющих компаниям демократизировать данные и преодолеть фундаментальные ограничения классических корпоративных хранилищ.

Практика оценки ROI в MDM-проектах

Сегодня резко вырос спрос на внедрение систем управления нормативно-справочной информацией – значимость основных данных стала очевидна не только аналитикам, но и руководству предприятий и компаний. Однако, до сих пор остается неясным, как рассчитать выгоды, которые приобретает компания вместе с MDM-системой. Доклад посвящен обсуждению практики оценки ROI в MDM-проектах. Особое внимание уделено разбору реальных кейсов с анализом поучительного опыта.

Культура работы с данными: через тернии к «звездам»

Данные – ценный актив компаний, однако важную роль в его монетизации играет успешная реализация инициатив по повышению компетенций в области аналитики и доступности данных. Развитие культуры играет важную роль в успешной работе с корпоративными данными. Существенное влияние на формирование культуры оказывает операционная модель по работе с данными, успешная реализация инициатив Data Governance, а также оптимизация процессов работы data-специалистов. Кроме этого на процесс принятия бизнес-решений, выявление новых возможностей для бизнеса и обеспечение непрерывного доступа к анализу данных влияет инструмент self-service для бизнес-аналитики. Доклад посвящен обсуждению опыта реализации инициатив по повышению компетенций в области аналитики и доступности данных. Особое внимание уделено изложению опыта развертывания и эксплуатации системы бизнес-аналитики, позволяющей сотрудникам филиалов географически распределенной компании самостоятельно решать аналитические задачи с соблюдением требований информационной безопасности.

Управление контрактами на поставку данных

Как децентрализовать процесс разработки дата-продуктов, обеспечить соблюдение требований ролевой модели данных для доступа аналитиков к данным, гарантировать качество данных и, при этом, организовать «песочницы» для решения задач машинного обучения? Для всего этого требуется архитектура, применимая как на начальном этапе построения единой платформы данных, так и в дальнейшем – способная обеспечить эффективное построение и эксплуатацию классических хранилищ и озер данных для демократизации доступа. Доклад посвящен обсуждению подхода по интеграции нескольких смежных областей управления данными для формирования архитектуры платформы анализа данных. Особое внимание уделено изложению возможностей конкретных архитектур и вариантов реализации контрактов данных на базе открытых инструментов.

«Умное» управление данными

Технологии искусственного интеллекта нашли широкое применение не только в медицине, умных городах и GPT-чатах, но и при управлении данными. Доклад посвящен обсуждению особенностей применения ML-моделей на всех этапах цикла работы с данными для повышения их доступности и снижения затрат на их хранение.

Как при минимальных ресурсах выстроить ключевые процессы управления данными?

«Почта Банк» – самый большой банк страны по географии присутствия (около 30 тыс. точек в более 18 тыс. населенных пунктов) и один из крупнейших на российском розничном рынке. В связи с высокой социальной нагрузкой была выбрана модель развития «low-cost» – выполнять только проекты, приносящие максимум эффекта в краткосрочной перспективе, поэтому проекты по аналитике обычно оказываются последними в очереди. Несмотря на это в корпоративном хранилище накопилось очень много данных (более 250 Тбайт), с ним работает множество процессов и пользователей при сильно ограниченных возможностей его поддержки. Однако, в условиях стремительного развития банка важна скорость внедрения новых продуктов и масштабирования систем. И если в определенный момент времени вырастает количество не описанных и не поддерживаемых процессов, а также унаследованного кода, то начинаются постоянные проблемы и задержки запуска новых продуктов – несовершенство старых процессов и систем тянет бизнес вниз. Доклад посвящен обсуждению опыта выполнения проекта рефакторинга корпоративного хранилища, призванного увеличить скорость расчета и предоставления данных бизнес-заказчикам; повысить качество данных в хранилище и поднять его надежность; повысить доверие к данным, сделав хранилище единым источником данных. Особое внимание уделено ответу на вопрос – как не допустить деградации в развитии корпоративного хранилища данных, выполнив проект минимальными ресурсами.

Инструмент low-code для организации хранилища данных

Автоматизация рутинных операций – ключ к ускорению достижения бизнес-целей компании и снижению стоимости эксплуатации информационных систем. Однако внедрение систем класса "корпоративное хранилище данных" часто требует значительных затрат ресурсов разработчиков, аналитиков и отдела сопровождения. А что если попытаться автоматизировать большинство процессов и задач с помощью "облеченного" инструмента? В докладе обсуждаются возможности продукта "Платформа управления данными", используемого для быстрого и экономного развертывания в компаниях корпоративного хранилища.

Вызовы цифровой трансформации – современные тенденции работы с данными

Сегодня уже невозможно представить жизнь современного общества без цифровых сервисов – большинство компаний, даже если их основной бизнес непосредственно не связан с ИТ, именно по Сети предоставляют своим клиентам все более разнообразные сервисы. Больше услуг – больше пользователей – больше данных для хранения – выше нагрузка на ИТ-системы. Доклад посвящен анализу проблем, с которыми сталкиваются компании при развертывании цифровых сервисов. Особое внимание уделено обсуждению подходов и инструментов масштабирования хранилищ, ускорению работы сервисов, обеспечению поддержки растущих нагрузок, а также способов организации обмена данными в гетерогенной среде.

Cделано у нас: полноценная продуктовая линейка по управлению данными

Как сегодня работает российский вендор, предлагающий решения в области управления данными? Как догнать и победить зарубежного производителей подобного ПО? Секреты разработки отечественных MDM и DG продуктов. Синергия функционально полной линейки продуктов в сфере управления данными. Апробация самых современных технологий для российского потребителя. Это и многое другое – в докладе.

Практика импортозамещения MDM в промышленноcти

Сегодня ни у кого не вызывает сомнения важность систем класса MDM, однако на пути внедрения и эксплуатации подобных решений имеется много подводных камней. Как выбрать методологию построения онтологической модели мастер-данных – основы развития функционала MDM-платформы? Четыре базовых свойства MDM: гибкость, функциональность, производительность и отказоустойчивость – в чем состоит семантика связей информационных объектов НСИ от корректности которой зависит эффективность управления корпоративными мастер-данными? Доклад посвящен ответам на эти и другие вопросы, а также обсуждению архитектуры программной платформы «Semantic «MDM», предлагающей user-firendly механизмы интеграции MDM с прикладными корпоративными информационными системами. Особое внимание уделено анализу опыта внедрения системы «Semantic «MDM» на крупных отечественных системообразующих предприятиях, а также практике импортозамещения SAP MDM в ведущей федеральной компании топливно-энергетического комплекса России.

Миграция на российскую систему бизнес-аналитики – пока одни боятся, другие уже впереди

Сегодня никому не надо объяснять, что произошло в России с рынком зарубежного ПО, однако путь миграции на российские решения сопровождается мифами и дискуссиями вокруг иллюзорных барьеров, якобы препятствующих переходу на отечественные системы. Доклад посвящен обсуждению заблуждений, чаще всего останавливающих бизнес от миграции на российские системы – и иллюстрации того, что компании и предприятия, заранее позаботившиеся о переходе на отечественные решения, уже сегодня демонстрируют серьезный рост. Особое внимание уделено анализу реального отраслевого опыта миграции: этапы выбора платформы бизнес-анализа, обучение и бесшовное внедрение в существующую инфраструктуру.

Управление корпоративной моделью данных

.

Управление данными при трансформации бизнеса: ответ на вызовы новой реальности

Доклад посвящен обсуждению опыта внедрения платформы управления данными и разбору особенности построения процессов в условиях активного роста бизнеса, присоединения новых команд, а также сопутствующей реструктуризации. Особое внимание уделено изложению – на основе опыта внедрений собственных и решений Open Source для управления данными – архитектурных и организационных подходов к созданию единых корпоративных хранилищ данных и аналитических систем.

Опыт внедрения и перспективы развития каталога данных

.

Что общего между системой управления данными и теорией большого взрыва?

Теория «Большого взрыва», как и другие подобные теории возникновения Вселенной, утверждает, что для появления планет и тем более форм жизни требуется не только огромная энергия, но и значительное время. Построение системы Управления данными, особенно сегодня, можно сравнить с возникновением Вселенной после Большого взрыва – сегодня весь рынок информационных систем, оборудования и специалистов находится в состоянии PBB («post-BigBang»). Доклад посвящен обсуждению опыта ПСБ решения всего комплекса задач, связанных с управлением данными.

Как большие данные спасают жизни

.

Проблемы и компромиссы в управлении большими данными: опыт реализации одного проекта

Создание аналитических систем, обрабатывающих большие объемы информации, сопряжено с рядом ограничений: узкий стек технологий Big Data, сжатые сроки реализации проекта, множество внутренних и внешних источников данных, низкое качество и неконсистентность самих данных. Доклад посвящен обсуждению апробированных подходов и инструментов, позволяющих снизить негативное влияние подобных ограничений на реализацию проекта.

Как мы отвечаем на вызовы рынка

.

Актуальные задачи и проблемы управления данными

Доклад посвящен обсуждению актуальных задач и проблем управления данными в свете современных тенденций и реальных потребностей российских компаний и предприятий. Особое внимание уделено анализу подходов к построению систем управления данными в быстро меняющимся условиях, а также возможностей и проблем, которые появляются с развитием ИИ и больших языковых моделей (LLM). Кроме этого разбираются задачи, связанные с изменением технологического стека и ростом популярности решений Open Source.

Как российской системе бизнес-аналитики соответствовать мировым тенденциям

Лидеры рынка и консалтинговые компании, в частности Gartner, ежегодно публикуют свои прогнозы и результаты анализа тенденций в сфере бизнес-аналитики, оценивая перспективы применения в этой отрасли новых и смежных технологий. «Магический квадрант Гартнера» содержит распределение вендоров по группам: «Лидеры», «Претенденты», «Провидцы» и «Нишевые игроки». Список тенденций год от года меняется, например, в 2023 году из него было исключено требование к облачному формату предоставления услуг, но добавились новые: совместная работа и интеграция с Data Science. Также среди актуальных тенденций были обозначены обработка данных в режиме реального времени, автоматическое принятие решений, объединение low-code и high-code решений. Длительное время российские компании пользовались преимущественно иностранными решениями, но сейчас остро стоит вопрос импортозамещения. При выборе российской системы бизнес-аналитики заказчики ориентируются на уже сформированный круг ожиданий и требований, поэтому отечественные вендоры внимательно следят за мировыми тенденциями. Доклад посвящен обзору тенденций развития систем бизнес-аналитики. На примере опыта работы компании Polymatica рассмотрено, как российские продукты развиваются наравне с иностранными благодаря открытой архитектуре и технологическому партнерству по таким направлениям, как Data Science, подготовка данных, интеллектуальные формы ввода, RPA и др.

Комплексный подход к управлению данными

Облачные технологии и Интернет вещей кардинально меняют ИТ-архитектуру, а слой данных непрерывно усложняется. Управление данными было и остается одной из важнейших стратегических задач для крупного бизнеса. Как сделать данные доступными, но защищенными, быстрыми, но качественными? Ответам на эти и многие другие вопросы и посвящен доклад.

Камни преткновения управления данными

Проблемы, связанные с управлением данными можно объединить в три основные группы:

• принятие решений на основе интуиции, а не данных. Какими бы высококачественными не были данные, какими бы изощренными не были способы их анализа, если лица, принимающие решения не используют факты и результаты их анализа для управления бизнесом и для его совершенствования, то все усилия по управлению данными будут напрасными. Наличие развитого механизма управления данными является необходимым, но не достаточным условием для принятия эффективных управленческих решений и для развития бизнеса;
• акцент при анализе данных на продвинутую аналитику. Сегодня наблюдается явный перекос в сторону продвинутой аналитики с выделением роли data scientist, причем в ущерб иным аналитическим возможностям для бизнес-пользователя (OLAP, dashboard, data discovery, data mining, guided analytics), которые перестали развиваться. Однако, при выборе алгоритмов моделирования, фиксации признаков, разметке данных для обучения, интерпретации результатов не исключен субъективизм, что вызывает недоверие к аналитике. Кроме этого, для использования продвинутой аналитики нужно осваивать программирование в отличии от инструментов no-code/low-code бизнес-аналитики;
• недооценка качества данных в широком смысле. Качество данных, существенно влияющее на качество результатов анализа, рассматривается лишь с точки зрения достоверности данных, однако необходимо также обеспечивать доступность, релевантность и актуальность данных.

Доклад посвящен анализу проблем каждой группы и обсуждению конкретных путей их преодоления.

Жизненный цикл данных – от периферии до озера

Данные сегодня приобрели критически важное значение, позволяя компаниям создавать инновационные решения, получать конкурентные преимущества и принимать взвешенные решения. Однако, управление данными создает для компаний большие трудности – цифровая трансформация невозможна без надежной архитектуры работы с данными и соответствующих аппаратно-программных решений:

• Как эффективно управлять жизненным циклом данных?
• Как оптимизировать данные?
• Что из себя представляют периферийные вычисления?
• Как реализовать DataLake не обладая специальными навыками?
• Как гарантировать высокую рентабельность инвестиций?

Доклад посвящен комплексным решениям Atos, специально предназначенным для работы с большими данными и средствами видеоаналитики.