Разрабатываемая сейчас версия 0.23 распределенной системы обработки данных Apache Hadoop сможет работать на кластерах из 6 тыс. машин, в каждой из которых установлено по 16 и более процессорных ядер, и параллельно выполнять до 10 тыс. заданий, рассказал вице-президент Apache Foundation и основатель компании Hortonworks Арун Марти на конференции O'Reilly Strata. Версия 0.23 сейчас находится на стадии альфа-тестирования. Ее выход должен состояться в текущем году. Уже сейчас Hadoop испытана на кластерах из 4 тыс. машин. В новой версии Hadoop планируется также реализовать поддержку федерации и средств высокой доступности в файловой системе HDFS. Платформа MapReduce, на базе которой построена Hadoop, тоже будет обновлена. Ее новая версия под условным названием Yarn обладает повышенной производительностью, в особенности на больших кластерах.

Поделитесь материалом с коллегами и друзьями

Купить номер с этой статьей в PDF