наверх

Главная, Новости, № 03 2016   1408 прочтений

Hortonworks и HPE вместе работают над повышением производительности Apache Spark

РЕКЛАМА

Проект уже принес первые плоды: усовершенствованный механизм перестановок, ускорение сортировок и вычислений в оперативной памяти, более оптимальное использование доступной памяти и улучшение масштабируемости.

Компания Hortonworks, создатель дистрибутива Hadoop, и исследовательское подразделение компании Hewlett Packard Enterprise осуществляют совместный проект, направленный на кардинальное повышение быстродействия фреймворка распределенной обработки данных Apache Spark.

Проект уже принес первые плоды: усовершенствованный механизм перестановок, ускорение сортировок и вычислений в оперативной памяти, более оптимальное использование доступной памяти и улучшение масштабируемости.

Как сообщили в HP Labs, исследователи переписали на C++ механизм перестановок, изначально реализованный на Java, переработали ряд алгоритмов с расчетом на более эффективное использование памяти и обеспечили возможность использования большей емкости памяти. По словам разработчиков, заказчики, попробовавшие результаты работы HP Labs, отметили повышение скорости выполнения некоторых задач в 5-15 раз.

Все доработки от HP Labs будут выпущены в открытых кодах.

В Hortonworks в свою очередь отметили, что продолжат работать над улучшением быстродействия и функциональности Spark, интеграцией с платформой управления ресурсами Apache YARN, а также реализацией возможности использования с новыми приложениями вроде Apache Zeppelin (проект в инкубаторе Apache, «веб-блокнот» для интерактивного анализа данных).


04.03.2016

Комментарии


Ранее

Gartner: в ближайшие три года у 90% организаций еще не будет «постмодерновой» стратегии интеграции приложений

Переход на следующее поколение ERP неотвратим, пишут в Gartner, но во многих организациях, отходящих от локальных монолитных систем, уже поняли, что это не мгновенная панацея, так как отсутствуют навыки, необходимые для интеграции приложений новой эпохи.

Wrike: BYOD остается источником головной боли для ИТ-служб

С точки зрения производительности труда использование самостоятельно выбранных сотрудниками устройств выгодно компании, но при этом необходимо учитывать как вопросы безопасности и стоимости обслуживания, так и поддержания баланса в корпоративной культуре, считают организаторы опроса.

Gartner: 43% организаций намерены в 2016 году использовать технологии Интернета вещей

Во многих организациях еще не определили, какие преимущества может дать им внедрение Интернета вещей, отмечают аналитики, или не потратили достаточно времени на разработку соответствующих идей.

Геолокация ликвидирует тайну личной жизни

Данные о местоположении регистрируются повсеместно — приложениями, мобильными устройствами и платформами, причем часто это делается без ведома и согласия пользователя. Специалисты предостерегают: эти данные позволяют создать чрезвычайно детальный портрет пользователя.

Пентагон приглашает хакеров для проверки безопасности своих веб-сайтов

Министр обороны США Эштон Картер неоднократно говорил о необходимости более тесного сотрудничества с ИТ-компаниями и внедрении в военном ведомстве инновационных методов работы технологических стартапов.
Средство массовой информации - www.osp.ru. Свидетельство о регистрации СМИ сетевого издания Эл.№ ФС77-62008 от 05 июня 2015 г. Выдано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзором)