наверх

Главная, «Журнал сетевых решений/LAN», № 05, 2012 5570 прочтений

«Глобальное потепление» в ЦОД

Сергей Орлов

Увеличение расходов на охлаждение центров обработки данных, а следовательно, и на электроэнергию, заставляет разработчиков искать способы повышения энергоэффективности. Один из них состоит в повышении допустимой температуры в ЦОД, но для этого требуется создать оборудование ИТ, которое выдерживало бы такие условия. Согласно оценкам, при охлаждении серверов повышение температуры воздуха «на входе» на один градус сокращает энергозатраты на 4–5%.

Традиционно считалось, что рабочая температура воздуха в ЦОД должна быть низкой, причем чем холоднее, тем лучше. Но, похоже, серверные и машинные залы скоро уже не будут ассоциироваться с хладокомбинатами. Ведь ИТ-оборудование нуждается во все более мощных системах охлаждения (см. Рисунок 1), а последние весьма прожорливы: общие энергозатраты на них составляют около 36% чистой мощности ЦОД.

«Глобальное потепление» в ЦОД
Рисунок 1. Тенденция роста энергопотребления, по данным ASHRAE.

 

Энергоэффективность систем охлаждения во многом определяется верхним пределом рабочих температур для оборудования ИТ. Обычно в качестве такого предела используется значение, рекомендуемое ASHRAE (American Society of Heating, Refrigerating and Air Conditioning Engineers). В первой редакции своих рекомендаций, опубликованной в 2004 году, эта организация установила верхний предел в +250C (при 40% влажности), во второй (2008 год) — +270C (при 60% влажности). В рекомендациях 2011 года появились два новых класса оборудования для ЦОД — А3 и А4 c температурным диапазоном до +400С и +450С соответственно.

Расширение температурного диапазона и допустимых границ относительной влажности открывает перспективы для повсеместного применения систем прямого фрикулинга (см. Рисунок 2), когда холодный наружный воздух подается непосредственно в помещение ЦОД. Такие ЦОД уже построили Amazon, Dell, Facebook, Google и Microsoft. Идея практически та же, что и в случае домашнего кондиционера: чтобы сэкономить на электричестве, есть смысл не выстужать квартиру до 180C, а установить вполне комфортные 240C и, если температура на улице ниже, не включать кондиционер, а просто открывать форточку.

«Глобальное потепление» в ЦОД
Рисунок 2. Традиционное охлаждение и прямой фрикулинг.

 

Во многих ЦОД, где рабочая температура в машинном зале была повышена до 20–250C, не отмечается заметного роста отказов серверов. В некоторых центрах данных температура увеличена до 25–300C, и количество отказов при этом вовсе не увеличилось на 1,8%, как предсказывала теория. После второй поправки ASHRAE во многих ЦОД потеплело до 270C, а Microsoft еще в 2009 году запустила в эксплуатацию бесчиллерный ЦОД с температурой 350C в холодных коридорах. В новых ЦОД компания использует бесчиллерную архитектуру и адиабатное охлаждение (для увлажнения подаваемого «с улицы» воздуха). Такие системы считаются значительно более эффективными, чем традиционные чиллеры. Номинальная температура в ЦОД компании Google, построенном в Бельгии, тоже составляет 350C. Прямой фрикулинг применяется в ЦОД Cisco в Техасе, Yahoo в Локпорте (штат НьюЙорк) и в целом ряде других известных центров данных.

В Microsoft стоимость типового ЦОД оценивают в 10–20 млн долларов на мегаватт. Эти затраты должны как минимум окупиться за срок эксплуатации центра данных, обычно составляющий 15 лет. Поэтому разработчики стремятся сократить эксплуатационные затраты — повысить энергоэффективность всех компонентов ЦОД, включая оборудование ИТ. Ведь потребляемая электроэнергия составляет значительную долю в стоимости владения (см. Рисунок 3). Кроме того, эксперты Microsoft рекомендуют правильно подбирать серверы и их конфигурацию в соответствии с решаемыми задачами (rightsizing).

«Глобальное потепление» в ЦОД
Рисунок 3. ТСО типового сервера 1U за пять лет (по данным Microsoft).

 

ТЕСТ НА ВЫНОСЛИВОСТЬ

Как показывают исследования (в частности, подобные тесты проводили Intel и Microsoft), большинство серверов способны работать при температуре 450C (см. врезку «450C — не предел»). Некоторые вендоры уже гарантируют функционирование своих устройств при такой температуре. Однако и обычное оборудование гораздо выносливее, чем принято считать.

 

450C — не предел

Как свидетельствует наш многолетний опыт, в большинстве серверных систем температура, которую показывает датчик процессора, и внешняя температура за пределами корпуса, куда выбрасывается воздух, обычно различаются не более чем на 150C. Это значение хорошо коррелирует с предположением, что большинство серверов способно устойчиво работать при температуре 450C: рекомендованный верхний температурный предел процессоров начинается как раз с 600C. Микросхемы памяти, контроллеры и другие микросхемы способны функционировать при более высоких температурах (обычно до 100–1250C для кремния), поскольку степень их интеграции существенно ниже, чем в процессоре, а неоднородность распределения температур на кристалле практически отсутствует.

Что касается пассивных компонентов, то в серверах давным-давно используются твердотельные конденсаторы. Исключение составляют конденсаторы блоков питания, которые наиболее подвержены деградации (высыханию) при длительном температурном воздействии. Поэтому отказы блоков питания — наиболее частая причина отказов серверов при повышенных температурах.

Еще одним слабым местом серверов могут быть жесткие диски. Однако, исследование, проведенное Google несколько лет назад, показало, что вплоть до 500C их надежность существенно не изменяется. На надежность влияет только совокупность двух факторов — «возраст» диска и температура. Вероятнее всего, это связано с тем, что на диске заканчивается место для ремаппинга (переназначение сбойного адреса на резервную область). С твердотельными накопителями тоже не все гладко, поскольку в ячейках MLC происходит деградация способности сохранения заряда в оксиде кремния вследствие миграции и/или утечек. Повышение температуры уменьшает срок жизни SSD.

Чтобы перейти к эксплуатации серверов при повышенных температурах, в первую очередь надо решить проблему электропитания. При преобразовании напряжения из 220 В в необходимые серверу 12 и 5 В, которые в дальнейшем преобразуются во все сервисные напряжения, используются электролитические конденсаторы. Если же на сервер сразу подавать выпрямленное и очищенное от помех напряжение 12 В, то, чтобы получить все остальные сервисные напряжения из входящих 12В, можно использовать в схемах преобразования твердотельные конденсаторы. Да и КПД преобразователей удастся сделать более высоким, применив многоступенчатые схемы преобразования для сервисных напряжений. А если еще немного сместить направление разработки серверных процессоров с достижения высокой производительности на снижение энергопотребления, то при переходе на технологические нормы 22 нм и менее вполне можно добиться рассеиваемой тепловой мощности процессора 35 Вт и ниже.

Тогда вполне вероятно, что большинство вновь проектируемых ЦОД перейдут на технологии фрикулинга с потенциальным расширением диапазона рабочих температур в сторону увеличения на 15–200C. Полный переход на твердотельные накопители позволит повысить верхнюю границу рабочих температур еще примерно на 100C. Таким образом, рабочая температура в 50–600C не выглядит фантастикой. Конечно же, в этом случае должны быть очень развитыми средства дистанционного управления, мониторинга и восстановления работоспособности. Но эта задача вполне выполнима.

Ренат Юсупов — старший вице-президент Kraftway.

 

Microsoft еще четыре года назад провела тестирование, установив серверы не в ЦОД, а в палатку. Они проработали в таких условиях на Тихоокеанском побережье северо-запада США с ноября 2007-го по июнь 2008 года без какихлибо отказов. HP, IBM, Oracle и Cisco гарантируют работоспособность серверов при 350C. Хотя температуру в ЦОД, где используется стандартное оборудование, до такого уровня повышать не стоит, запас для ее увеличения, определенно, есть, ведь в большинстве ЦОД поддерживается 20–240C.

В 2008 году Intel тоже провела исследования, показавшие, что при благоприятных климатических условиях серверы могут функционировать практически без какого-либо управления климатической средой в серверной или ЦОД. Таким образом, появляется возможность огромной экономии на электроэнергии и на дорогостоящих системах охлаждения, и при этом риск отказа оборудования крайне незначителен.

В проведенных специалистами компании 10-месячных испытаниях в Нью-Мехико серверы высокой плотности охлаждались воздухом «с улицы». Они эксплуатировались при температуре 17–330С почти без защиты от пыли (фильтр задерживал лишь крупные частицы). Влажность менялась в пределах от 4 до более 90%. В результате значительные колебания температуры и влажности, снижение качества воздуха не привели к заметному росту числа отказов: их уровень составил 4,46% против 3,83% за тот же период в расположенном в этой местности ЦОД Intel со стандартными условиями.

Вывод: необходимость точного поддержания данных параметров сомнительна и требует дальнейшего изучения. К тому же производители задают в своих спецификациях для серверов слишком комфортные условия: стремясь снизить процент выхода оборудования из строя, они указывают в руководстве пользователя заниженную температуру эксплуатации.

При столь незначительном увеличении отказов экономия получилась весомой: по сравнению с системами охлаждения с рециркуляцией воздуха потребление электроэнергии сократилось на 74% — и это в жарком климате. В более прохладном месте, по оценкам Intel, можно было бы сэкономить 91% электроэнергии. Для небольшого, по западным меркам, ЦОД с потреблением в 500 кВт годовая экономия составит около 143 тыс. долларов, а для крупного ЦОД на 10 мВт — уже 2,87 млн долларов.

Сценарий «выживания» серверов без наличия мощной системы кондиционирования и охлаждения исследовали и другие эксперты. В 2011 году на конференции Technology Convergence Conference Субодх Бапат, бывший вице-президент Sun Microsystems по энергоэффективности, привел следующие данные. Прогнозируемый уровень отказов серверного оборудования в расчете на год составляет 2,45% при 250С и с каждым градусом увеличивается на 0,36%. Таким образом, при 450С уровень отказов составляет 11,45%. Даже если каждый год вместо 11% выходящих из строя серверов x86 устанавливать новые, экономия на кондиционировании будет оправдана. По данным других исследований, при 450C число отказов электроники на 9% больше, чем при 200C.

В рамках жизненного цикла элементов ЦОД и используемых технологий можно предусмотреть возможности оперативной замены вышедшего из строя оборудования, чтобы клиентские сервисы поддерживались на должном уровне. Такая стратегия, несомненно, имеет право на жизнь, а экономические показатели могут быть определены при детальных подсчетах и понимании уровня сервиса, который запрашивает заказчик.

ПОДНИМАЕМ ТЕМПЕРАТУРУ

Эксперты давно подсчитали, что увеличение температуры в ЦОД на один градус снижает уровень энергопотребления на 4–5%. Это заставляет компании менять «микроклимат» в своих центрах данных в рамках реализации программ повышения энергоэффективности. Однако просто повернуть ручку термостата не получится — неизбежно возникнут зоны перегрева, где серверы начнут выходить из строя, и в таком случае лучше избыток охлаждения, чем его недостаток.

По данным проведенных в США исследований, процент отказов электронных компонентов удваивается с повышением температуры на каждые 100C. Хотя именно на эти данные опираются инженеры NASA и военные в своих разработках, сегодня их подвергают сомнению. Во-первых, исследование проводилось достаточно давно, во-вторых, оно не фокусировалось на ЦОД, в-третьих, в нем использовалась линейная модель отказов, которую некорректно применять ко всему диапазону температур. Так, при 260C уровень отказов не превышает вдвое показатели, фиксируемые при 160C, а рост числа отказов в диапазоне 20–300C будет ниже, чем в интервале 40–450C.

В общем случае нужно очень осторожно подходить к повышению верхнего предела рабочих температур в действующем ЦОД, тщательно анализируя возможные последствия, а рекомендации ASHRAE рассматривать в комплексе с лучшими практиками. Такое повышение должно выдерживать не только ИТ-оборудование, но и система кондиционирования. Существующие системы охлаждения рассчитаны на определенный температурный диапазон, поэтому увеличение температуры «на входе» серверов может не дать ожидаемой экономии, поскольку вырастет потребление электроэнергии другими компонентами инфраструктуры — вентиляторами внутри серверов, компрессорами систем охлаждения и т. д.

Например, в одной из работ специалистов Dell и Schneider Electric («Energy Impact of Increased Server Inlet Temperature», David Moss, John H. Bean, 2011 год) приводятся результаты измерений энергопотребления тестовой конфигурации, включающей оборудование ИТ и системы охлаждения InRow CW с чиллерами, которые проводились при разных температурах. Как оказалось, суммарное энергопотребление снижается при увеличении температуры в холодном коридоре с 19 до 270C, после чего снова растет. Для систем InRaw Dx этот рост начинался уже с 250C. И надо сказать, что данная проблема далеко не единственная (см. врезку «Проблемы «потепления»).

 

Проблемы «потепления»

Идея повышения рабочей температуры в ЦОД обретает все большую популярность, однако она будет встречать противодействие, пока не разрешатся все связанные с этим проблемы. Таких проблем немало.

  1. Повышение температуры в ЦОД может сократить «окно восстановления» при отказе в системах охлаждения. Иными словами, времени на устранение неисправности или корректное завершение работы систем остается намного меньше — температура может быстро превысить критическое значение. По данным исследования Opengate Data Systems, стандартная стойка с потреблением 5 кВт получит «тепловой удар» через три минуты после отключения охлаждения. Для стоек высокой плотности с потреблением 10 кВт время сокращается до 1 мин.
  2. Возросший «уровень смертности» серверов может потребовать специальных инженерных решений или применения адаптированного к высоким температурам оборудования.
  3. Слабое место серверов и систем хранения данных — жесткие диски: согласно некоторым исследованиям, у большинства из этих устройств число отказов начинает резко расти примерно с +300C.
  4. Еще одно слабое звено — блоки питания серверов. При увеличении влажности на их компонентах иногда образуется конденсат, что приводит к выходу блока питания из строя. Именно с такой проблемой столкнулись инженеры Facebook. Кроме того, КПД блока питания в общем случае зависит от температуры нелинейно, и в состоянии, близком к предельной нагрузке, вслед за повышением внешней температуры возможна неожиданная перегрузка блока питания.
  5. С увеличением температуры растет ток утечки в полупроводниках, что может потребовать создания новой элементной базы.
  6. Опасность представляют и колебания влажности в широком диапазоне: при избыточной влажности на электронных компонентах образуется конденсат, а в случае ее недостатка появляются разряды статического электричества.
  7. Фрикулинг хорош для новых ЦОД, но для уже существующих может оказаться дорогостоящим решением. Чтобы поднять температуру в центре данных, придется перестраивать всю систему охлаждения, а это очень сложный и дорогой проект.
  8. Издержки из-за отказов оборудования или простоев при повышении температуры могут превысить полученную экономию. Вполне возможно, что в общем случае повышение температуры в ЦОД усложнит решение вопросов обеспечения надежности, восстановления при отказах и сохранения гарантии на оборудование.
  9. Повышение температуры влияет на срок службы компонентов серверов. Например, вентиляторы из-за увеличения скорости вращения будут изнашиваться быстрее. В ЦОД, где жизненный цикл ИТ-оборудования составляет три года, это может быть не так критично, однако небольшим центрам данных, где серверы эксплуатируются дольше, подобная практика вряд ли подойдет. К тому же крупные ЦОД менее уязвимы в случае отказа перегревшихся серверов. То, что подходит гигантам вроде Microsoft и Intel, зачастую противопоказано другим.
  10. Если температура воздуха «на входе» составляет 25–270C, вентиляторы серверов начинают вращаться намного быстрее и потребляют больше электроэнергии, что может свести на нет полученную экономию.
  11. Повышение температуры в ЦОД до 450C и выше ухудшает условия работы персонала. В горячем коридоре температура может достигать 650C, а именно там приходится подключать кабели и выполнять другие работы по обслуживанию, что как минимум некомфортно. Поэтому некоторые компании проектируют серверы, у которых вынесены кабельные соединения в холодный коридор. Например, в архитектуре Facebook Open Compute кабели находятся в передней части сервера. Кроме того, мощный шум от вентиляторов заставит использовать беруши или наушники. Американская правительственная организация Occupational Safety and Health Administration (OSHA) уже разработала рекомендации для работы в условиях повышенной температуры, где определяется, сколько времени люди могут безопасно находиться в таких условия и сколько им нужно отдыхать.

Кроме того, должно пройти какое-то время, чтобы повышение рабочей температуры и столь важную для ЦОД надежность перестали рассматривать как взаимоисключающие факторы.

 

Один из способов более безопасного повышения температуры в ЦОД — применение систем мониторинга.Использование методов термодинамики и размещение на оборудовании температурных датчиков (ASHRAE рекомендует замерять температуру в верхней, нижней и средней частях стойки) позволяет получить детальную картину температурных условий в машинном зале. К такого рода разработкам можно отнести HP Dynamic Smart Cooling и AdaptivCool компании DegreeC.

Температуру рекомендуется повышать постепенно, начиная с 210C для нижних серверов в стойке и 250C для верхних, отслеживая потенциальные и существующие зоны перегрева. Для этого специалисты советуют установить в ЦОД датчики температуры, влажности и энергопотребления. Некоторые серверы могут сами передавать системе мониторинга значения температуры воздуха на входе и потребляемой мощности, а интеллектуальные устройства распределения питания (PDU) — информировать о потребляемой подключенным оборудованием электроэнергии. Это особенно важно в виртуализированной среде, где вычислительная нагрузка перемещается между серверами.

В одном из исследований приводится примерная стоимость каждого этапа подготовки ЦОД к повышению температуры:

  1. Реализация системы мониторинга температуры — 100 долларов на стойку.
  2. Установка заглушек в незанятые «юниты» стойки для предотвращения свободной циркуляции воздуха — 50–150 долларов, в зависимости от заполнения стойки.
  3. Изоляция горячих/холодных коридоров — 200–350 долларов на стойку, в зависимости от типа перекрытия.

После этого можно постепенно повышать температуру, внимательно следя за развитием ситуации. Иногда требуется дополнительно выполнить изоляцию кабельных вводов и установить перфорированные плиты фальшпола. Считается, что повышение температуры на 100C — вполне реальная цель, а это 40-процентная экономия на электроэнергии. Для зарубежных ЦОД инвестиции в 350–600 долларов на стойку могут окупиться уже через 6 месяцев, да и для российских предприятий потенциальная выгода, как показывают расчеты, оказывается примерно такой же.

«ЖАРОСТОЙКИЕ» ИТ-СИСТЕМЫ

Что станет с гарантией на серверы, если они будут работать при 450C? Пока такую гарантию дают лишь немногие вендоры, и для этого требуется применение специальных решений. Так, например, ответом Dell на идею «бесчиллерных» ЦОД стала готовая интегрированная система, позволяющая работать с высокой энергоэффективностью при температуре 450C. Она охлаждается внешним воздухом (прямой фрикулинг) и не требует чиллеров (см. врезку «Свежий воздух» от Dell»). Как утверждают в Dell, система способна функционировать в самых разнообразных климатических условиях.

 

«Свежий воздух» от Dell

Разработанная Dell технология Fresh Air гарантирует длительную надежную работоспособность наших систем в диапазонах температуры от 5 до 45°C и при уровне влажности от 5 до 90%. Эти показатели подтверждены независимыми тестами, которые продемонстрировали устойчивую работу систем при 400C в течение 900 ч в год и до 90 ч при 450С. Технология Fresh Air внедрена в серверах Dell PowerEdge 11-го и 12-го поколений, системах хранения данных PowerVault и сетевых коммутаторах PowerConnect.

Как удалось решить эту задачу? Вспомните знаменитую «Уловку-22» и посмотрите на проблему с этой точки зрения: вначале вы платите деньги за то, чтобы подвести к вашему центру обработки данных электроэнергию, а затем платите еще раз — за то, чтобы отводить выделяемое тепло. Вопрос в том, чтобы повысить производительность, приходящуюся на каждый ватт электрической энергии. Для этого специалисты Dell объединили технологию охлаждения наружным воздухом с технологией испарительного охлаждения.

На базе такого решения, например, работает модульный центр обработки данных, развернутый в Боулдере (штат Колорадо). Он обслуживает картографические сервисы Bing компании Microsoft по всему миру. Благодаря отсутствию кондиционеров, этот ЦОД весьма невелик. При этом коэффициент PUE удалось довести до очень низкого значения — 1,03. Если раньше вместе с теплом компания буквально теряла деньги, то с новой технологией она значительно экономит на охлаждении ЦОД, на вынужденных простоях при отказах в случае перегрева помещения, на рисках потери важных данных, на эксплуатационных затратах и оплате за электроэнергию, поскольку Dell Fresh Air позволяет оптимизировать энергопотребление.

Последние поколения серверов Dell с поддержкой Fresh Air в ЦОД можно эксплуатировать и вместе с традиционными системами охлаждения — экономия на операционных издержках проявится в любом случае, а дополнительная надежность никогда не помешает. Практика показывает, что применение оборудования с поддержкой Fresh Air позволит крупным компаниям снизить операционные расходы на ИТ на 100 тыс. долларов в год. А в некоторых климатических зонах можно вообще обойтись без строительства собственной электроподстанции (которая часто является составной частью ЦОД). В таком случае экономия эксплуатационных затрат составит примерно 3 млн долларов на 1 МВт (с учетом сокращения капитальных и операционных затрат на 0,07 доллара на 1 кВт×ч и 0,2 доллара на 1 кВт×ч соответственно).

Антон Банчуков — менеджер по корпоративным продуктам Dell в России и СНГ

 

«Глобальное потепление» в ЦОД
Рисунок 4. Серверы Dell 720XD гарантированно работают при
температуре 450C.

В феврале текущего года Dell анонсировала серверы PowerEdge с процессорами Intel Xeon E5, оптимизированные для работы в условиях повышенных температур, как того требуют новые рекомендации ASHRAE. В их числе двухсокетные системы R720 в корпусе 2U и R620 в корпусе 1U, сервер высокой плотности 720XD (см. Рисунок 4) и модульный сервер M620. Консоль управления Dell интегрирована с программным обеспечением Intel Power Center, что позволяет устанавливать для каждого сервера предельные значения потребляемой мощности (Power Capping). Создание таких серверов потребовало трехлетних разработок. Нет сомнения, что за Dell последуют и другие вендоры. Создание серверов, выдерживающих повышенную температуру эксплуатации, ведется в рамках проекта Facebook Open Compute (см. врезку «Проект Facebook Open Compute набирает силу»).

 

Проект Facebook Open Compute набирает силу

Стартовавший год назад проект Facebook (http://opencompute.org/) по разработке открытой аппаратной архитектуры для создания эффективных ЦОД получил новый стимул: к нему присоединились несколько технологических компаний, представивших собственные серверные архитектуры. Членами Open Compute Project (OCP) стали компании HP, Advanced Micro Devices, VMware, Supermicro и ряд других.

Проект Open Compute Project предполагает создание открытых стандартов и архитектур оборудования для построения энергоэффективных и экономичных ЦОД. Идея примерно та же, что и при разработке программного обеспечения с открытым исходным кодом. Сообщество разработчиков совместно создает и совершенствует аппаратные архитектуры, постепенно улучшая продукты. Проект предполагает также разработку стандартов, в частности стандартов управления для облачных вычислений. HP и Dell уже подготовили новые архитектуры серверов и СХД в соответствии со спецификациями OCP Open Rack, охватывающими такие аппаратные компоненты, как системные платы и элементы системы электропитания в серверном шасси.

В числе уже созданных в рамках проекта аппаратных решений — сервер хранения от Facebook и системные платы AMD и Intel. Так, AMD предложила системную плату 40,6х41,9 см для высокопроизводительных и облачных вычислений. Как заявлено, эта платформа под названием Roadrunner обладает «исключительной энергоэффективностью». Она выполнена на базе процессоров AMD Opteron серии 6000 и поддерживает большой объем памяти. VMware будет сертифицировать свою платформу виртуализации vSphere на соответствие спецификации OpenRack. Если архитектура Facebook станет стандартом де-факто для центров обработки данных, предназначенных для облаков и Web 2.0, это может упростить развертывание систем и управление ими, считают аналитики Pund-IT.

OCP начинался как проект по совместной разработке оборудования для центра данных Facebook в Прайневилле (штат Орегон). В итоге в Facebook решили сделать архитектуру открытой, включая серверные платы, блоки питания, серверные шасси и стойки. Сегодня ЦОД в Прайневилле потребляет на 38% меньше электроэнергии, чем другие центры данных Facebook, а обошелся он примерно на 24% дешевле. Google и Amazon тоже применяют не стандартные серверы, а оборудование специальной архитектуры, что помогает сократить издержки и снизить нагрузку на персонал при управлении и обслуживании мегаЦОД с тысячами серверов.

Серверы Open Compute имеют облегченную конструкцию: их легче переводить и проще собирать. Кроме того, они способны работать при повышенной температуре, и это один из факторов, благодаря которым в ЦОД в Прайневилле значение PUE достигло 1,08, то есть серверы потребляют 92% подаваемой сюда электроэнергии. В этом ЦОД применяется бесчиллерная адиабатная система охлаждения. Однако не все шло гладко. При температуре в холодном коридоре 26,60C и относительной влажности 95% из-за образовывавшегося конденсата стали выходить из строя блоки питания серверов. Для устранения этой проблемы на элементы блоков питания пришлось наносить специальное покрытие, чтобы при влажности до 90% конденсат не появлялся.

 

«Жаростойкость» достигается в первую очередь благодаря правильной архитектуре оборудования, — подчеркивает Александр Акишин, консультант по технологиям из представительства Fujitsu в России и СНГ. — В серверах Fujitsu Primergy используется оптимизированная конструкция передней решетки, что позволило почти вдвое повысить ее проницаемость для воздуха. Это решение в совокупности с бескабельным дизайном обеспечивает высокую циркуляцию воздушных потоков, при которой полностью исключается появление областей с повышенными температурами. В модульных серверах применяется полностью интегрированная инфраструктура энергоснабжения и охлаждения. Благодаря такому подходу системы питания и охлаждения занимают очень мало места, а сэкономленное пространство позволяет оптимизировать теплообмен в самих серверах. Специальное программное обеспечение, поставляемое с каждым сервером Primergy, непрерывно следит за температурой компонентов и в случае достижения критических значений увеличивает скорость вращения вентиляторов или, при использовании заданных правил, понижает частоту для снижения энергопотребления и, как следствие, температуры».

«Глобальное потепление» в ЦОД
Рисунок 5. В основе архитектуры Cool-Central лежит реализация законов
термодинамики воздуха, что позволяет исключить риски использования жидкостного охлаждения. А применение лишь двух центральных выпускных вентиляторов вместо сотен вентиляторов отдельных серверов значительно снижает энергопотребление и стоимость теплового рассеивания.

Специально для организаций, испытывающих проблемы со снижением тепловыделения и вынужденных нести большие затраты на охлаждение, компания Fujitsu разработала платформу CX1000 с собственной технологией Cool-Central, которая обеспечивает высокий уровень экономичности отвода тепла в ЦОД горизонтального масштабирования (см. Рисунок 5). CX1000 и Cool-Central устраняют необходимость в организации «горячего коридора». За счет специальной архитектуры CX1000 горячий воздух под давлением направляется в верхнюю часть стойки. Это позволяет устанавливать серверные узлы CX1000 каскадом, экономя площадь ЦОД. Шасси системы CX1000 сконструировано с использованием распределенных компонентов для улучшенного охлаждения и рассеивания тепла. Кроме того, серверные узлы x86 поставляются с меньшим количеством недублированных компонентов. Доступ ко всем компонентам возможен с передней панели, то есть доступ к задней части стойки не нужен. Лотки сервера может заменять сам пользователь, что снижает затраты на обслуживание.

Для достижения высокой энергоэффективности нужна специальная элементная база. Это блоки питания с повышенным КПД (до 94%), процессоры и модули памяти с пониженным энергопотреблением. Еще больший эффект могло бы дать создание специальной микроэлементной базы с более высокими рабочими температурами, однако пока это маловероятно. К тому же такие компоненты существенно дороже стандартных, хотя по мере наращивания объемов их производства цена будет снижаться. По мнению специалистов, повышение рабочей температуры сервера в случае применения компонентной базы с увеличенным ресурсом — весьма конструктивная идея. Именно этот подход позволит при массовом производстве существенно сократить затраты на кондиционирование и охлаждение.

В целом можно с уверенностью предположить, что доля «жаростойких» систем среди моделей серверов, оптимизированных для ЦОД (см. Рисунок 6), будет расти.

 

«Глобальное потепление» в ЦОД
Рисунок 6. Количественное соотношение применяемых в России различных типов серверов (в денежном выражении, по данным IDC).

 

ЗАКЛЮЧЕНИЕ

Повышение температуры в ЦОД должно осуществляться в рамках программы повышения энергоэффективности и предусматривать использование лучших отраслевых решений по управлению воздушными потоками, таких как герметизация кабельных вводов, исключение помех для потоков воздуха под фальшполом, изоляция горячих/холодных коридоров. Даже «потепление» на 6–80C может дать значительную экономию без снижения надежности или потери гарантии. Для повышения рабочей температуры особенно подходят ЦОД с однородным оборудованием ИТ, которые функционируют в режиме дистанционного управления и решают задачи высокопроизводительных вычислений или применяются для суперкомпьютерных приложений.

Сергей Орлов — ведущий редактор «Журнала сетевых решений/LAN». С ним можно связаться по адресу: sorlov@lanmag.ru.

Купить номер с этой статьей в pdf

Комментарии


23/06/2016 №06

Купить выпуск

Анонс содержания
«Журнал сетевых решений/LAN»

Подписка:

«Журнал сетевых решений/LAN»

на месяцев

c

Средство массовой информации - www.osp.ru. Свидетельство о регистрации СМИ сетевого издания Эл.№ ФС77-62008 от 05 июня 2015 г. Выдано Федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзором)