В Москве состоялась пятая Конференция по технологиям Больших Данных, организованная издательством «Открытые системы», собравшая архитекторов и разработчиков, которые при выполнении своих проектов столкнулись с неспособностью традиционных инструментов справиться с невиданными прежде потоками данных различной природы. На сегодняшний день не существует универсальных решений построения массово предоставляемых по требованию многопользовательских сервисов и обработки в реальном времени потоков неструктурированных данных, однако вполне работоспособен представленный на конференции пул коммерческих и открытых инструментов. Такие средства интенсивной обработки больших массивов данных, как базы данных In-memory, Apache Hadoop, Not Only SQL и некоторые СУБД категории Open Source, на практике доказали свою способность при ограниченных бюджетах и на базе стандартного оборудования эффективно решать широкий спектр прикладных задач. Вместе с тем успех реализации проектов Больших Данных на базе Solr, YARN, Spark и современных открытых СУБД зависит от осознанного выбора технических решений и конкретных шагов по их оптимальному использованию. Конференция была призвана помочь ее участникам разобраться в новых инструментах и познакомиться с реальным опытом их применения. В программе конференции было 15 докладов, представленных, в частности, разработчиками из таких компаний, как Avito.ru, Badoo, ФКУ «Налог-Сервис», «Постгрес Профессиональный», Motorola Solutions и «Дойче Банк», использующих технологии из стека Hadoop и собственные решения для обработки в реальном времени петабайтных объемов неструктурированных данных. Ряд сообщений были посвящены решению задач аналитики реального времени в таких областях, как социальные сети, телекоммуникационное оборудование, медицина и ЖКХ. Особый интерес вызвало сообщение о планах развития свободной СУБД PostgreSQL, возможности которой востребованы сегодня при интенсивной обработке больших массивов данных при условии ее адаптации к корпоративным ландшафтам. Большое внимание на конференции было уделено способам извлечения знаний из Больших Данных и визуализации результатов с помощью предлагаемых компанией Vizex методов, позволяющих обнаружить скрытые взаимосвязи в неоднородном массиве входных данных.
.png)
