Компания Hortonworks, создатель дистрибутива Hadoop, и исследовательское подразделение компании Hewlett Packard Enterprise осуществляют совместный проект, направленный на кардинальное повышение быстродействия фреймворка распределенной обработки данных Apache Spark. Проект уже принес первые плоды: усовершенствованный механизм перестановок, ускорение сортировок и вычислений в оперативной памяти, более оптимальное использование доступной памяти и улучшение масштабируемости. По словам разработчиков, заказчики, попробовавшие результаты работы HP Labs, отметили повышение скорости выполнения некоторых задач в 5–15 раз.