Платформы Больших Данных

Усложнение и развитие систем работы с данными, внедряемыми в рамках проектов импортозамещения, означает решение новых задач – по сути, речь идет о изменении самих подходов к владению данными. Переход от разрозненных хранилищ к платформам данных требует специфических решений по каталогизации, управлению, организации разработки и обеспечению безопасности. Компаниям экономики данных требуется не просто импортозамещение «как есть», а качественное изменение корпоративных ИТ-ландшафтов.

Открытая платформа обработки данных в памяти может применяться для ускорения аналитической обработки оперативных данных в массивно-параллельной СУБД, кэширования оперативных данных в HDFS и реализации транзакционного кэша данных для систем потоковой передачи и шин данных.

Летом 2016 года на рынке появилось второе поколение ускорителей Xeon Phi с архитектурой Knights Landing, способных заменить обычные процессоры, что сулит существенные изменения как в индустрии высокопроизводительных систем в целом, так и в инфраструктурах обработки Больших Данных.

Проектирование архитектур систем работы с Большими Данными связано с множеством трудностей. В частности, архитектуру распределенного ПО надо тесно увязать со структурами данных и архитектурой развертывания. Чтобы удовлетворить требования к качеству, при проектировании системы нужно учитывать особенности всех трех архитектур одновременно.

Данные сегодня считаются стратегическим активом предприятий цифровой эпохи, и с ними бизнес должен уметь работать.Чтобы облегчить ему эту задачу, в конце 2014 года компания Informatica, поставщик средств интеграции данных, представила интеллектуальную платформу данных (Intelligent Data Platform, IDP).

Tibco Software, известный игрок рынка интеграции и управления бизнес-процессами, расширяет свой портфель системами бизнес-аналитики.

Расцвет Больших Данных и облаков кардинально изменил рынок систем управления базами данных — разработчики «разобрали на части» традиционную СУБД и трансформировали классическую трехзвенную системную архитектуру.

Проблема Больших Данных стала одной из ключевых, оказывающих влияние на индустрию ИТ и одна из задач, возникающая перед производителями – организация хранения огромного объема неструктурированных данных с возможностью оперативного доступа к ним. Компания Hitachi Data Systems предложила платформу унифицированного хранения больших массивов информации.

Сегодня для анализа Больших Данных пытаются использовать подходы и методы, разработанные еще при создании технологий информационных хранилищ, и хотя при этом делаются поправки с учетом количественных показателей, в них не учитываются принципы сбора, обработки и анализа данных. Вместе с тем некоторые особенности традиционных операций могут противоречить специфике обработки Больших Данных.

Наступление облачного фронта наблюдается сегодня практически по всем направлениям корпоративных ИТ-систем — в выгоде облаков уже убедились многие компании, однако наибольшую популярность пока получили частные облака, по сути, реализующие концепцию «ЦОД как сервис».