В результате перехода на виртуальную инфраструктуру и серверы-лезвия «БТА Банк» в четыре раза снизил совокупную стоимость владения ИТ-инфраструктурой
Игорь Коваль
Возраст: 33 года
Образование: Высшая школа экономики, дипломы MBA и MBI (менеджер в сфере бизнес-информатики)
Послужной список последних лет:
2007 — настоящее время
БТА-Банк (Россия), исполнительный директор
2004 — март 2007
«Метробанк», исполнительный директор
На данный момент около 90% всей серверной инфраструктуры «БТА Банка» виртуализировано, в банке развернуто 250 виртуальных серверов. «Мы уже почти три года используем технологии виртуализации, два с половиной года созданная на их основе инфраструктура находится в промышленной эксплуатации», — рассказывает Игорь Коваль, исполнительный директор «БТА Банка».
До 2007 года серверный блок ИТ-инфраструктуры «БТА Банка» (ранее он носил название «СлавинвестБанк») представлял собой разнородный набор серверов различной конфигурации и возраста, обеспечивающих работу многочисленных приложений и ИТ-сервисов. Все эти системы работали с неравномерной нагрузкой и требовали значительных затрат на обслуживание.
Обычно коэффициент загруженности серверного оборудования в таких конфигурациях крайне невысок. Как выяснилось в ходе проведенного анализа инфраструктуры, возможности многих серверов использовались лишь на 10—15%. Это приводило к излишним капитальным и операционным затратам, а также неконтролируемому росту совокупной стоимости владения инфраструктурой.
Начать исследования в области технологий виртуализации специалистов банка побудила ограниченность площадей серверных помещений и электрических мощностей. Бизнес банка активно рос, но необходимую для работы приложений аппаратуру физически было негде размещать. Альтернатив было немного: либо арендовать места в коммерческих ЦОД, либо минимизировать занимаемое аппаратурой пространство, используя технологии виртуализации.
Кроме того, было решено с целью наведения порядка консолидировать прикладное программное обеспечение, разбросанное по различным площадкам, а иногда и установленное на рабочих станциях. Именно такой и была формальная цель проекта консолидации: 100% прикладного серверного ПО должно функционировать в рамках корпоративного ЦОД. Как минимум, такой подход означает наличие резервного копирования данных, а также сотрудников, ответственных за работоспособность того или иного сервера.
Курс на централизацию
«По большому счету, бизнесу неважно, на какой технологической платформе работать. В любом случае он должен получать надежный и качественный сервис вовремя», — подчеркивает Коваль. Проект, вносящий коренные изменения в ИТ-инфраструктуру, стал инициативой ИТ-департамента, взявшего курс на соответствие требованиям бизнеса.
Как оказалось, банк был готов к полной реорганизации инфраструктуры. Его руководство понимало, что без «правильного» построения ИТ-решений не сможет достичь желаемых результатов. К числу основ исповедуемого подхода относится максимальная централизация управления и, как следствие, — централизация ИТ. В результате такой оптимизации филиалы должны были стать фронт-офисными подразделениями, в которых в основном работали бы специалисты по продажам. Предложения ИТ-специалистов, направленные на централизацию ресурсов, находили отклик у руководства.
«В банке существует специальный комитет по банковским технологиям, который принимает ключевые решения и которому приходится доказывать необходимость инвестиций в те или иные направления», — говорит Коваль. Наличие сбалансированного комитета позволяет услышать мнение большинства заинтересованных лиц и принимать взвешенные решения. Разумеется, одним из самых активных его участников является финансовый директор.
После обсуждений было решено взять курс на максимально эффективное использование имеющихся площадей серверных помещений, закупку серверов-лезвий, а также внедрение средств виртуализации. Вообще 2007 год был богат на ИТ-проекты: параллельно в банке внедрялись новая АБС «ЦФТ-Банк», новая сетевая инфраструктура, единая шина обмена данными, а также высокопроизводительное серверное оборудование.
Надежность важнее цены
В то время конкурентов в области промышленных решений для виртуализации у компании VMware практически не было. «Разумеется, мы имели опыт работы с бесплатными решениями, однако такой подход является спорным. Банк, который должен работать как отлаженный механизм, обязан требовать от поставщиков используемых решений адекватной технической поддержки», — уверен Коваль.
Анализом существующих программных решений по виртуализации занимался начальник отдела системного администрирования, которому была поставлена задача обосновать выбор системы виртуализации. Зачастую принятое решение зависит от убеждений ИТ-руководства — приобретать дорогой и известный продукт или потратить больше времени и сил, но внедрить бесплатное решение. В «БТА Банке» пришли к выводу, что гораздо выгоднее иметь в портфеле решений надежную коммерческую систему. В качестве программного решения был выбран продукт VMware Virtual Infrastructure на основе VMware ESX v3.5, а в качестве оборудования для виртуализации использованы серверы-лезвия HP BL460c.
За последние годы соотношение сил на рынке средств виртуализации несколько изменилось, и в нынешней ситуации делать выбор стало сложнее. Во-первых, с учетом экономической ситуации цена продукта имеет очень большое значение, во-вторых, системы с открытым кодом вышли на гораздо более серьезный уровень.
В России практический опыт реализации крупных проектов виртуализации отсутствовал, и поэтому во многих случаях приходилось претворять в жизнь теоретические изыскания интеграторов «Крок» и IBS, а также зарубежный опыт VMware. На это ушло несколько месяцев, и в июле 2007 года система была запущена в промышленную эксплуатацию.
В ходе проекта неразрешимых проблем не возникло, многие системные администраторы имели опыт работы в виртуальных средах, пусть и на базе бесплатного ПО. Наконец, поддержку проекту оказывали консультанты, и банк имел прямой доступ к их знаниям.
«Разумеется, не все получалось сразу. Иногда приходится добиваться поставленной цели, отыскивая узкие места, не замеченные ранее», — отмечает Коваль. На поиски оптимальных настроек ушло несколько месяцев.
Виртуализировать функционирующие в банке многочисленные среды было весьма непросто. Используемые приложения базируются как на платформе Windows, так и на Linux. Между тем поведение платформы в виртуальном окружении зависит от ее типа, и подстройка виртуальной инфраструктуры под каждую из них вылилась в трудоемкую задачу.
Кроме того, было необходимо убедить ИТ-специалистов в пользе новой технологии. Существовали скептически настроенные сотрудники, уже имевшие некий опыт работы в виртуальных средах и утверждавшие, что затея с переходом на них провалится. Как выяснилось впоследствии, опыт скептиков сводился лишь к домашнему тестированию какого-либо продукта.
Больше всего сомнений было относительно того, что в виртуальной среде способны работать продукты на базе СУБД Oracle. Оказалось, что эти опасения необоснованны. Например, при неожиданном отключении питания, произведенном в ходе имитаций различных видов нештатных ситуаций, сервер СУБД Oracle без проблем возобновлял свою работу. Так появилась уверенность в надежности создаваемого решения.
Эта надежность подтвердилась и в «боевых» условиях. Некоторое время назад произошел серьезный сбой: при проведении ремонтных работ на электрической подстанции сотрудники обслуживающей организации неверно подключили фазы электропитания, в результате банк был полностью обесточен, в том числе — и его серверная инфраструктура. Через несколько минут она была вновь запущена и успешно возобновила свою работу корректно.
Конечно же, использовать виртуальную инфраструктуру для поддержания приложений с большим объемом транзакций, таких как АБС и процессинговая система, нецелесообразно. Для их работы нужны совсем иные аппаратные мощности. С целью поддержки таких систем обычно приобретаются выделенные серверы, и это общепринятая практика. Именно эти приложения в «БТА Банке» и работают на выделенных серверах, а все остальные функционируют в виртуальной среде.
«Для нас виртуализация стала столь привычной, что мы практически не задумываемся, на какой платформе создавать новый сервер», — иронизирует Коваль. Но, естественно, если к создаваемой системе ожидается большое количество запросов, для нее будет приобретен выделенный физический сервер.
С максимальной нагрузкой
С помощью виртуализации банку удалось достичь очень высокого уровня консолидации оборудования. Однако структура, изначально рассчитанная на 120 виртуальных серверов, уже через полгода оказалась заполненной и потребовала расширения, поскольку количество используемого ПО постоянно росло. Спрогнозировать потребности бизнеса было крайне сложно — в тот период банк начал активно развивать розничное обслуживание. Именно с этим и было связано появление многих приложений, пусть и мелких, но необходимых в работе. Использование для их поддержки виртуальной среды является не просто оправданным, но и наиболее эффективным подходом.
Сейчас утилизация серверной техники вновь приближается к максимуму. При дальнейшем росте числа виртуальных серверов, необходимых как для нужд бизнеса, так и для построения тестовых сред, потребуется приобретать новое оборудование.
«Нынешняя серверная инфраструктура была рассчитана на 120—150 виртуальных серверов, сейчас их почти в два раза больше. Тем не менее, несмотря на высочайшую загрузку, она вполне надежна и оправдывает возложенные на нее надежды», — подчеркивает Коваль. Повышение загрузки оборудования стало одной из наиболее важных задач, которую удалось выполнить.
Кроме того, удалось значительно сэкономить на энергопотреблении. Стоимость электроэнергии в Москве высока, и ЦОД в случае расширения грозил стать в буквальном смысла слова золотым. В здании существует лимит по доступной мощности, и если потребуется дополнительно подключить 50 кВт, банку придется нести огромные издержки.
«По самым скромным подсчетам, только на единовременных платежах мы сэкономили более 1 млн долл.», — оценивает Коваль. Что касается ежемесячной экономии, то она также является значительной благодаря сокращению серверного оборудования и меньшей потребности в охлаждении. Разумеется, наблюдается некоторое повышение энергопотребления по сравнению с тем, что было до развертывания виртуализации, из-за того, что оборудование теперь работает с полной нагрузкой, однако ценность достигнутых положительных результатов несопоставимо выше.
Третьим достигнутым эффектом стала простота управления виртуальной инфраструктурой. Всем комплексом управляют два администратора. Тем не менее администрирование разделено по направлениям: Windows- и Linux-серверы администрируются различными специалистами, каждый из которых обладает необходимыми компетенциями и в технологиях VMware. Таким образом, экономия достигнута не только на «железе», но и на обслуживающем персонале. Поддерживать 250 физических серверов силами двух специалистов было бы нереально. Например, так как виртуальные серверы не привязаны к конкретному оборудованию, при обновлении парка физических серверов не требуется повторная установка и настройка программного обеспечения — виртуальная машина может быть просто скопирована на другой сервер.
Чрезвычайно важным стало и то, что в период активного роста (сейчас, естественно, экспансия банка почти заморожена) появилась возможность быстрого развертывания филиалов, которое занимает считаные часы. Благодаря стандартизации подхода к развертыванию офисов этот процесс стал чрезвычайно простым и эффективным с точки зрения бизнеса.
Вынужденный аутсорсинг
«Сейчас мы готовы к запуску новых серверов и наращиванию мощности ЦОД в целом», — рассказывает Коваль. В первую очередь речь идет об обновлении серверов, поддерживающих АБС. Старый же аппаратный комплекс планируется использовать для построения единого хранилища данных.
Кроме того, в настоящее время существует проблема, связанная с формированием отчетности из оперативной базы данных. Как известно, такой подход увеличивает нагрузку на АБС. Чтобы система стала менее загруженной и демонстрировала более быстрый отклик, требуется выделить функционал отчетности в отдельное решение. Работы по внедрению новой серверной платформы и системы отчетности Cognos BI планируются совместно с IBM в 2010 году.
В 2010 году планируется использовать аренду мощностей коммерческих ЦОД для увеличения возможностей АБС и внедрения единого хранилища данных. На сегодняшний день проведен отбор потенциальных ЦОД-партнеров и выбраны два кандидата.
Методику процедуры аренды мест для серверов пришлось прорабатывать отдельно. Как минимум, заключенное соглашение должно соответствовать определенным стандартам ЦБ РФ в сфере информационной безопасности. Кроме того, существует закон «О персональных данных», который в ближайшее время станет обязательным к исполнению.
На территории партнерского ЦОД для банка будет выделено закрытое помещение с отгороженной территорией. Тем не менее процесс заключения договора проходит весьма болезненно. Что вполне естественно, ведь руководство банка желает добиться адекватного соглашения об уровне обслуживания, в котором четко зафиксированы ответственности сторон.
«Я не в восторге от идеи аутсорсинга, это вынужденный шаг, — признает Коваль. — Мы рассматриваем вовлечение коммерческих ЦОД как крайнюю меру, не имея необходимых помещений на своей территории». Если бы такая возможность была, от сторонних услуг банк с удовольствием бы отказался вовсе.
Что нам стоит ЦОД построить?
Недавно финансовый блок «БТА Банка» провел расчеты с целью выяснить, что выгоднее: арендовать ЦОД или построить собственный. Как оказалось, если рассчитывать срок жизни ЦОД на период пять лет, то аренда обойдется в два раза дешевле, несмотря на высокие тарифы, которые в будущем, безусловно, будут падать. Разумеется, речь идет о ЦОД высокого класса, удовлетворяющих стандарту TIA-942. Их стоимость составляет от 1 млн долл. Строительство собственного ЦОД подобного класса в полной мере оправдает себя, если он прослужит не менее 20 лет.
«БТА Банк»
ООО «БТА Банк» — универсальный финансовый институт, региональная сеть которого насчитывает 11 филиалов, 28 дополнительных и 2 операционных офиса. По состоянию на 1 октября 2009 года активы банка составляют 45,5 млрд руб., собственный капитал — 12,9 млрд руб. Уровень достаточности капитала банка составляет 25,4%, что существенно превосходит среднерыночный показатель.