Практика гиперконвергентных систем

Андрей Морозов, руководитель отдела систем стандартной архитектуры компании ЛАНИТ-Интеграция

Как в небольшой компании или филиале распределенной корпорации развернуть необходимую ИТ-инфраструктуру при отсутствии собственного подразделения ИТ? Одним из вариантов может быть применение готовых решений — конвергентной инфраструктуры и экспертно-интегрированной системы, включающих в себя все необходимое для построения полноценной ИТ-конфигурации, настроенной на поддержку конкретных приложений.

Среди клиентов компании «Ланит» много крупных компаний, расширяющих свою филиальную сеть, выделяющих какое-либо подразделение в отдельную организационную единицу или создающих финансово независимый департамент для ведения нового направления деятельности. Для выполнения таких проектов традиционный способ построения ИТ-инфраструктуры, предусматривающий развертывание серверов, систем хранения, коммутаторов, установку гипервизоров и инициализацию виртуальных машин (ВМ), оказывается неприемлемым, хотя он и позволяет создать наиболее подходящую конфигурацию. Однако для этого в штате предприятия должны быть квалифицированные специалисты по серверам, системам хранения, сетям, средствам виртуализации и т. п. Даже если все эти специалисты имеются, что для компаний малого и среднего бизнеса скорее исключение, чем правило, остается проблема отсутствия единой точки управления, что усложняет процессы управления ИТ-инфраструктурой и требует эффективного взаимодействия между администраторами отдельных подсистем.

Рассмотрим один из примеров реализованного нами проекта по построению полностью новой ИТ-инфраструктуры для офиса, где будут работать 100 сотрудников компании.

Работникам офиса требуются защищенный доступ в Интернет, телефония, видео-конференц-связь, поддержка мобильных устройств и гостевой сегмент беспроводной связи для клиентов. Кроме этого, необходим доступ к внутренним сервисам и службам: каталогам, электронной почте, системам обмена мгновенными сообщениями и совместной работы с документами, взаимодействия с мобильными устройствами, файловых хранилищ и безопасной печати. Ключевое требование проекта — обеспечить высокую скорость и простоту масштабирования решения, способного поддерживать работу как в случае увеличения числа сотрудников в офисе, так и при росте объемов данных.

В области крупномасштабных ИТ-сред сегодня успешно применяются конвергентные и экспертно-интегрированные системы, образующие готовые решения, включающие: серверы, системы хранения, коммутаторы, средства виртуализации и управления инфраструктурой.

Экспертно-интегрированные системы разрабатываются и устанавливаются производителями оборудования и системного ПО либо системными интеграторами с учетом специальных требований конкретного заказчика, получающего готовую для развертывания его приложений конфигурацию.

Гиперконвергентные системы построены на стандартных компонентах, но используют идеологию программно-определяемых сред и представляют собой более универсальную платформу. Практически все производители предлагают сейчас гиперконвергентные системы: Dell XC, EMC VxRail, HPE HyperConverged и др.

Гиперконвергентные системы от Hewlett Packard Enterprise просты в развертывании и эксплуатации. Каждая система поставляется в предварительно собранной конфигурации с масштабируемыми вычислительными ресурсами на основе серверов HPE ProLiant, с системой хранения данных HPE StoreVirtual VSA, программным обеспечением виртуализации (VMware ESXi или Microsoft HyperV) и предустановленными средствами управления в одном корпусе 2U или в составе комплекта из нескольких узлов 2U. Такие решения можно не только быстро развернуть, но и легко масштабировать и модернизировать в горячем режиме. Непрерывность работы виртуализированных приложений обеспечивается благодаря доступности 99,999%, прозрачной технологии отказоустойчивости, гибким возможностям восстановления после сбоев, а также централизованному управлению вычислительными ресурсами, системами хранения данных и виртуальными машинами.

Вернемся к нашему примеру по построению новой ИТ-инфраструктуры. Заказчику было предложено катастрофоустойчивое решение с разделением сервисов между основной (табл. 1) и резервной (табл. 2) площадками.

Таблица 1. Сервисы основной площадки

Таблица 2. Сервисы резервной площадки

Блейд-система HPE c7000

За исключением сервиса телефонии, который по требованиям заказчика базировался на выделенных серверах, остальные службы виртуализованы. Для размещения всех сервисов на каждой площадке требуются четыре сервера в основном сегменте и два в демилитаризованной зоне (DMZ). Для отказоустойчивого решения по телефонии требуются еще минимум два физических сервера.

При реализации данного проекта в рамках традиционной архитектуры для консолидации ресурсов и обеспечения будущего роста требуемых заказчику ресурсов нужны серверные блейд-системы. С учетом системы резервного копирования в системе должно быть не менее девяти двухпроцессорных серверов стандартной архитектуры для блейд-шасси. Необходимым количеством отсеков для размещения такого количества серверов обладает блейд-шасси HPE с7000.

Необходимый объем памяти для файловых служб и кластера виртуализации обеспечивается за счет подключения серверов к внешней системе хранения, в качестве которой была выбрана система начального уровня HPE MSA 2040. Для виртуальной инфраструктуры требуется 7,5 Тбайт дискового пространства, а для файловых служб по требованию заказчика было выделено 6 Тбайт. С учетом отказоустойчивой конфигурации RAID и использования оптимальных по соотношению цена/производительность/емкость дисков SAS 10K 900 Гбайт, необходимо установить не менее 20 дисков, а если еще добавить по одному диску горячей замены на каждую группу RAID, то потребуются 22 диска. Подключение системы хранения к серверам обеспечивается коммутаторами SAN, устанавливаемыми в блейд-шасси c7000.

Система хранения HPE MSA 2040 SFF SAN DC

Для реализации ядра сети заказчик выбрал коммутаторы Cisco Catalist 4500X, а в блейд-шасси устанавливаются порт-агрегаторы VirtualConnect Flex-10/10D, обеспечивающие подключение серверов к ядру сети. Модули VC Flex-10/10D объединяют трафик посредством высокоскоростных подключений 10 Гбит/с к серверам с помощью адаптеров HPE FlexFabric. Каждый модуль оснащен 30 портами, что дает общую эффективную пропускную способность 600 Гбайт в полнодуплексном режиме. Каждый нисходящий порт предусматривает четыре настраиваемых подключения к серверу в рамках полосы 10 Гбит/с, а для восходящих связей можно использовать до 10 портов SFP+. На восходящих интерфейсах поддерживается агрегация каналов с применением LACP (Link Aggregation Control Protocol), для обеспечения отказоустойчивого подключения рекомендуется задействовать по два порта с каждого модуля VC Flex-10/10D для подключения в каждый коммутатор ядра сети.

Ленточная библиотека HPE MSL6480

APC Smart UPS SRT10KRMXLI

Для защиты от потери данных  необходима система резервного копирования, построенная на основе ленточной библиотеки и ПО резервного копирования. Для построения такой системы рекомендуется использовать отдельный физический сервер без виртуализации, что связано со сложностями передачи в виртуальную среду управления роботом библиотечных устройств. Для данного проекта потребовалась библиотека, обеспечивающая выполнение процедуры полного резервного копирования за восемь часов (стандартное окно резервного копирования). С учетом суммарного объема данных всех информационных систем заказчика и скорости записи на ленту, для обеспечения окна потребуется не менее четырех ленточных приводов (LTO-5 или LTO-6). В линейке HPE есть две такие ленточные библиотеки — MSL4048 и MSL6480. А с учетом необходимости предусмотреть дальнейшее развитие инфраструктуры выбрана библиотека MSL6480, обеспечивающая масштабирование до 42 приводов за счет модулей расширения.

Для гарантирования бесперебойного питания требуется оценить потребляемую мощность всех компонентов решения. Это можно сделать, например, с помощью специализированного инструмента HPE PowerAdvisor. Для данного проекта необходимо 4068,7 Вт. В соответствии с требованием заказчика обеспечить 15 минут автономной работы всех систем и в связи с необходимостью подключить блейд-шасси HPE с7000, была предложена система бесперебойного питания APC Smart UPS SRT10KRMXLI. Она дает возможность подключить три блока питания HPE с7000 мощностью 2650 Вт каждый и работать 15 минут на внутренних батареях, а ее высокий КПД позволяет использовать столь мощный ИБП на расчетной нагрузке с эффективностью более 94%.

Рис.1. Решение в традиционной архитектуре

Гиперконвергентная система HPE HC250

В итоге для реализации проекта в соответствии с традиционной архитектурой потребуется оборудование в стойке 24U (рис. 1) общим весом около 500 кг, потребляющее более 4 кВт электроэнергии.

При реализации проекта в рамках гиперконвергентной архитектуры для размещения ресурсов основной площадки потребуется использовать две объединенные гиперконвергентные системы HPE HC250. При этом возможны два варианта. Первый: все серверы размещаются в общей ферме виртуализации; три сервера в каждом из блоков функционируют в рамках системы виртуализации VMware vSphere5.5, а четвертый отдан под систему обеспечения телефонной связи. Второе решение обеспечивает аппаратное резервирование для службы телефонии и необходимые ресурсы для кластера виртуализации, причем уровень надежности для служб телефонии повышается за счет того, что каждый из серверов находится в обособленном шасси, а порты серверов доступны автономно от других узлов вычислительного блока гиперконвергентной системы.

Для подключения напрямую в ядро сети потребуется по два порта 10 Гбит на каждый вычислительный узел или 8 портов в каждом из коммутаторов ядра сети , а в традиционной архитектуре на блейд-системе — четыре. Однако данное ограничение снимается путем установки пары коммутаторов HPE FlexFabric 5700-40XG-2QSFP+, обеспечивающих минимальную стоимость подключения портов 10 Гбит. Устройства FlexFabric 5700 на 25% дешевле альтернативных решений других производителей и позволяют добавить до 30 коммутаторов HPE FlexFabric, управляемых с помощью одного коммутатора Controlling Bridge. Кроме того, они поддерживают формирование одного логического коммутатора из нескольких физических IRF (Intelligent Resilient Framework), обеспечивая время конвергенции IRF менее 50 мс, что повышает пропускную способность и уменьшает потери пакетов при времени задержки менее 1,5 мкс для канала 10 Гбит. Установив пару данных коммутаторов, можно подключить к ядру сети до 40 вычислительных узлов.

Коммутатор HPE FlexFabric 5700-40XG-2QSFP+

HPE StoreVirtual 4530 600G Storage

Портовая емкость ядра сети позволяет напрямую подключить две гиперконвергентные системы.

У гиперконвергентной системы плотность размещения ресурсов сравнима с плотностью у системы с традиционной архитектурой (до 16 серверов в 8U и 2U на модули коммутации), но при этом гиперконвергентная система поставляется вместе с системой хранения и допускает как линейное масштабирование (совместно с вычислительными ресурсами), так и нелинейное (наращивание емкости путем добавления узлов типа HPE StoreVirtual 4530 600G Storage).

Для гиперконвергентной системы HPE Hyper Converged 250 доступны следующие конфигурации дисков для каждого вычислительного узла: 6 х 1,6 Tбайт SSD (9,6 Tбайт сырой емкости), 4 х 1,2 Tбайт SAS 10K + 2 х 480 Гбайт SSD, 4 х 1,2 Tбайт SAS 10K + 2 х 960 Гбайт SSD, 4 х 1,2 Tбайт SAS 10K + 2 х 800 Гбайт SSD или 6 х 1,2 Tбайт SAS 10K (7,2 Tбайт сырой емкости). Таким образом, эффективная емкость, предоставляемая VSA по iSCSI для одного блока гиперконвергентной системы, составляет от 6,8 до 16 Тбайт для NetworkRAID-10 и может быть увеличена в полтора раза за счет использования NetworkRAID-5. Согласно требованиям проекта, необходимо иметь 7,5 Тбайт для виртуальной инфраструктуры и 6 Тбайт для файловых сервисов, то есть достаточной будет конфигурация 4 х 1,2 Tбайт SAS 10K + 2 х 480 Гбайт SSD в каждом блоке.

Для обеспечения потребностей резервного копирования данных в гиперконвергентной среде требуются виртуальные библиотеки на основе дисковых систем хранения, таких как HPE StoreOnce. Система хранения HPE StoreOnce в сочетании с ПО StoreOnce Catalyst реализует надежную высокопроизводительную архитектуру резервного копирования с дедупликацией, выполняемой как на физических, так и на виртуальных устройствах. 

Система резервного копирования HPE StoreOnce 3540

Горизонтальное масштабирование предполагает оплату ресурсов по мере роста. Для корпоративных центров обработки данных подойдут системы HPE StoreOnce 6500 емкостью от 120 Тбайт (72 Тбайт полезной емкости) до 2240 Тбайт (1728 Тбайт полезной емкости). Для центров обработки данных среднего размера подойдут системы HPE StoreOnce 3520 с 7,5–15,5 Тбайт полезной емкости, HPE StoreOnce 3540 с 15,5–31,5 Тбайт полезной емкости и StoreOnce 5100 с возможностью масштабирования от 36 до 216 Тбайт полезной емкости. При сочетании со встроенными средствами дедупликации, обеспечивающими коэффициент 20:1, можно хранить почти вдвое (до 95%) больше резервных копий, а применять дедупликацию на клиенте с ПО HPE StoreOnce Catalyst позволяет максимальная скорость резервного копирования до 26,7 Тбайт/ч при использовании HPE StoreOnce 5100 или до 12,7 Тбайт/ч при использовании HPE StoreOnce 3540. 

Источник бесперебойного питания APC SRT3000RMXLI с дополнительной батареей

Таким образом, для существующего объема данных достаточно системы HPE StoreOnce 3540 с 15,5 Тбайт полезной емкости, обеспечивающей производительность резервного копирования 4,6 Tбайт/ч (без использования ПО StoreOnce Catalyst), что позволяет уложиться в указанное заказчиком окно резервного копирования. Емкость системы с учетом дедупликации позволяет разместить до 600 Тбайт резервных копий, что соответствует емкости ленточной библиотеки MSL6480, заполненной картриджами LTO-6 (80 картриджей по 6,25 Тбайт). Управление процессами резервного копирования становится возможным из виртуальной среды — сервер резервного копирования не требует отдельного физического сервера и будет потреблять ресурсы виртуальной инфраструктуры в моменты ее наименьшей загрузки (обычно ночью).

Расчетная потребляемая мощность для всех систем гиперконвергентной архитектуры составляет 2695 Вт, а для их автономной работы в течение 15 минут потребуется ИБП APC SRT3000RMXLI с дополнительной батареей SRT96RMBP.

Рис. 2. Решение в рамках гиперконвергентной архитектуры

Таким образом, для реализация проекта в рамках гиперконвергентной архитектуры потребуется оборудование в стойке 10U (рис. 2) общим весом около 280 кг, потребляющее не более 2,7 кВт электроэнергии.

Аналогичную картину мы увидим и на резервной площадке, при этом важными факторами становятся размеры и энергопотребление оборудования, так как наиболее целесообразным для небольшой компании будет решение по размещению оборудования в арендуемой стойке коммерческого центра обработки данных.

Из приведенного примера видно, что архитектура гиперконвергентных систем позволяет строить экономичные масштабируемые и гибкие решения на основе однотипных блоков. В случае гиперконвергентной архитектуры решение получается на 60% компактнее (10U против 24U), на 35% энергоэффективнее (2,7 кВт против 4,1 кВт) и на 40% легче (280 кг против 470 кг). При этом стоимость оборудования в случае гиперконвергентного решения окажется на 15% ниже, чем у решения в традиционной архитектуре.

В случае традиционной архитектуры можно заменить  блейд-систему с7000 на с3000 а серверы телефонии и резервного копирования  разместить на отдельных серверах высотой 1U, что, однако, ситуацию сильно не изменит и стоимость решения  практически не поменяет. Иначе говоря, существенным преимуществом гиперконвергентной архитектуры является более низкая начальная стоимость оборудования, а за счет меньшего энергопотребления, отсутствия выделенных коммутаторов SAN, уменьшения требований к ИБП достигается дополнительная существенная экономия.

Управлять гиперконвергентной системой с vCenter позволяет встроенный инструмент HPE OneView Instant On, работа с которым не требует специальных знаний в области хранилищ и серверов. То есть централизованно управлять всеми вычислительными ресурсами, системами хранения и виртуальными машинами в рамках OneView для сервера VMware vCenter может ИТ-специалист широкого профиля.

Недостатком гиперконвергентных систем является большая величина шага масштабировния — это минимум три вычислительных узла для рассмотренного варианта или минимум одна система хранения типа StoreVirtual. Также существует ограничение на ресурсы одной ВМ с производительностью стандартного узла. Иными словами, для задач, требующих более 30 ядер и более 500 Гбайт оперативной памяти, такие системы не подходят. Кроме того, обязательным является применение заказчиком сетей 10 Гбит/с или наличие в ядре портов для соединения с уровнем распределения в виде коммутаторов HPE FlexFabric 5700. Также на этапе развертывания решения, при использовании автоматизированных средств HPE OneView Instant On, требуется поддержка в сети протокола IPv6, что на сегодняшний день является уже стандартом для сетевого оборудования.