Если вы покупаете сервер (пусть даже «стандартной архитектуры»), то поставщик наверняка попытается продать вам вариант подороже. Если же приобретается вычислительный кластер, а покупатель неплохо представляет себе уровень цен и экономит деньги, поставщик будет стремиться подобрать самый «дешевый» вариант. Не радуйтесь: как это ни кажется странным на первый взгляд, в обоих случаях поставщик, возможно, предложит серверы, потребляющие много электроэнергии, и полная стоимость владения существенно увеличится.Дополнительные расходы связаны с оплатой электроэнергии, кондиционированием серверного зала, с повышенными требованиями к его площади (тепловыделяющую аппаратуру придется разнести по разным стойкам) и, наконец, со снижением надежности работы и уменьшением срока службы аппаратуры из-за возможного роста температуры. Дело в том, что при увеличении температуры на 15 °C вдвое возрастает частота отказов; такие данные приводит, например, компания Fujitsu Siemens Computers. (Поэтому автор, сотрудник Института органической химии РАН, стремится поддерживать в серверном помещении института температуру 20 °C, в то время как европейские нормы допускают до 35 °C.)
Для тех, кто привык с долей скепсиса относиться к рекомендациям поставщиков, не забывая про пословицу «доверяй, но проверяй», расскажем о некоторых нехитрых оценках энергопотребления (в первую очередь для распространенных небольших серверов стандартной архитектуры), которые полезно иметь в виду покупателю. (Хорошие производители об этом могут позаботиться сами. Так, в Intel для OEM-производителей, использующих серверные платы компании, предлагают программу Power Calculator для расчета электропитания с учетом различных компонентов сервера — микропроцессоров, наборов микросхем, оперативной памяти, вентиляторов и т. д.; аналогичный продукт имеется, к примеру, и у Fujitsu Siemens.)
Итак, если вы приобретаете двухпроцессорный сервер стандартной архитектуры на базе Intel Xeon или AMD Opteron с общим числом от двух до восьми, то для коммерческих приложений вам обычно порекомендуют вариант с блоком питания мощностью не менее 500‑600 Вт. Много это или нормально?
Современные процессоры потребляют обычно 80‑90 Вт. Для двухъядерных моделей Opteron 22xx этот показатель составляет 95 Вт; Xeon 53xx/2,33 ГГц имеет пиковое энергопотребление 80 Вт. Однако, в отличие от Opteron, управление оперативной памятью в Xeon встроено не в процессор, а в микросхему северного моста, потребляющую 10‑25 Вт. Поэтому в первом приближении не так уж важно, Xeon или Opteron вы выбрали: энерговыделение современных наборов микросхем вместе с процессором оказывается примерно одинаковым. (Серверные процессоры с пониженным энергопотреблением — тема для отдельного разговора; они несколько дороже, но могут дать экономию за счет более низких затрат на электроэнергию.)
Контроллеры Gigabit Ethernet обычно встроены в материнскую плату. Для высокопроизводительных кластерных межсоединений Quadrics, Myrinet и Infiniband энергопотребление сетевых плат составляет около 8 Вт — во всяком случае, меньше 10 Вт. Mellanox, ведущий производитель оборудования Infiniband, для своих новейших однопортовых LX-плат DDR-типа говорит уже всего о 4 Вт.
Остаются жесткие диски и оперативная память; их вклад в энергопотребление существенно зависит от конфигурации сервера. Энергопотребление современного диска составляет ориентировочно от 5 до 15 Вт. В качестве типичного представителя SATA-дисков со скоростью вращения 7200 оборотов в минуту рассмотрим Hitachi Desktar T7K250 емкостью 250 Гбайт. В режиме «простоя» его энергопотребление составляет 6,2 Вт, а при случайном чтении и записи — 10,5 Вт. Таким образом, нагрузка на диск добавляет к его энергопотреблению всего 4 Вт или чуть больше.
Едва ли не самый большой вклад в энергопотребление современных серверов может вносить оперативная память, если ее емкость велика. Грубую верхнюю оценку энергопотребления модуля DIMM можно получить исходя из расчета порядка 1 Вт на микросхему (к примеру, гигабитная микросхема Micron потребляет около 0,8 Вт). Если сравнивать односторонние модули DIMM емкостью 1 Гбайт с двухсторонними модулями DIMM на 2 Гбайт, при одинаковой полупроводниковой технологии выигрыша в энергопотреблении в расчете на 1 Гбайт у более емкого модуля DIMM практически не будет. Но DIMM от Kingston (регистровая память с ЕСС, DDR2‑667, x4) емкостью 1 Гбайт потребляет 3,8 Вт, а емкостью 2 Гбайт — всего 4 Вт. При этом не нужно забывать, что с ростом частоты при фиксированной КМОП-технологии энергопотребление растет квадратично. Микросхемы х16 рассеивают тепла больше, чем х4 или х8. Тепловыделение из-за работы с оперативной памятью, насколько известно, в большей степени обусловлено шиной памяти — выделяют оба конца шины.
Если вы приобретаете кластер, поставщик с целью уменьшения цены одного узла может предложить более дешевую память (скажем, двухсторонние модули DIMM стоят дешевле); помните, что при этом вы проиграете в будущем за счет более высокого энергопотребления. Поэтому важным представляется предстоящий переход к технологии DDR3; при этом рабочее напряжение уменьшается с 1,8 до 1,5 В, а электропитание — на 30%.
Многоуважаемый шкаф
Казалось бы, что можно выиграть от применения той или иной «стандартной» 19‑дюймовой стойки? Голое железо — если, конечно, речь не идет о дорогих стойках с мощным (скажем, водяным) охлаждением. Ну, одна стойка жестче другой и будет меньше шататься… Ан нет, и здесь есть свои хитрости.
Обычная стойка сегодня потребляет от 2 до 4 кВт. При этом, если у стойки есть передняя и задняя дверь, то больше 3 кВт в нее не запихнуть — иначе, как указывают в Fujitsu Siemens, начнутся проблемы с охлаждением. (Боковые двери на охлаждение обычно не влияют: «бока» у стоечных серверов, как правило, не нагреваются, хотя там и могут располагаться вентиляционные отверстия.)
Несомненно, ограничение в 3 Квт на стойку — вещь весьма неприятная, учитывая тенденции возрастания плотности упаковки с переходом к серверам-лезвиям, а также увеличение средней нагрузки серверов благодаря применению средств виртуализации. Следуя этому ограничению, вы рискуете оставить стойки полупустыми, что для многих современных центров обработки данных неприемлемо.
Таким образом, при разработке современных суперкомпьютерных систем требование достижения максимальной производительности на единицу площади эквивалентно требованию максимальной производительности в расчете на 1 Вт. В суперкомпьютерах с воздушным охлаждением IBM Blue Gene, возглавляющих список TOP500, для этого были разработаны даже специальные модификации процессоров PowerPC 440, обладающие высокой производительностью с плавающей запятой в расчете на 1 Вт.
Для того чтобы разместить в стойке оборудование с энергопотреблением порядка 20 кВт, можно прибегнуть к водяному охлаждению. Сразу скажем, такой вариант весьма дорог. Например, если «обычная» стойка Primecenter cтоит порядка 2 тыс. долл., то стойка с водяным охлаждением Primecenter LC — уже 15 тыс. долл. По оценкам Fujitsu Siemens, при одинаковом тепловыделении для охлаждения понадобится либо 90 литров воды в час, либо 325 кубометров в час охлажденного воздуха.
Измерь себя сам
Прежде чем привести несколько примеров энергопотребления серверов стандартной архитектуры, напомним, что блок питания серверов также имеет свой коэффициент полезного действия, называемый эффективностью и определяемый как отношение выходной мощности (постоянного тока) к входной мощности (переменного тока).
Все потери энергии из-за того, что выходная мощность меньше, будут ощущаться в форме дополнительного тепловыделения. При этом максимальная эффективность у блока питания обычно достигается при нагрузке, близкой к максимальной. Оценки типичной эффективности блока питания дают порядка 65% при половинной нагрузке и 75‑80% — при полной. А вообще эффективность блока питания меняется в диапазоне от 50 до 90%.
Реальное энергопотребление сервера зависит не только от его конфигурации, но и от вычислительной нагрузки (естественно, блок питания должен подбираться под максимальную нагрузку). Так, узел кластера Beowulf с двумя одноядерными процессорами Opteron 248 может потреблять без нагрузки 213 Вт, а под нагрузкой — 243 Вт. Более современный узел кластера на базе двух двухъядерных процессоров Opteron 2216 с памятью емкостью 8 Гбайт и двумя дисками (плата межсоединения, как уже отмечалось, много не добавляет) — до 265 Вт. Для узла с чуть более быстрым процессором Opteron 2220/2,8 ГГц, с 24 Гбайт памяти (12 модулей DIMM) и одним SATA-диском можно ожидать 200‑230 Вт без нагрузки и 300‑320 Вт под нагрузкой. Узел на базе Sun x4100 с двумя двухъядерными процессорами Opteron при полной нагрузке на процессоры и одновременной записи/чтении с жесткого диска потребляет около 270 Вт.
Энергопотребление узла с двумя четырехъядерными процессорами Intel 53xx/2,33 ГГц и с восемью модулями FB DIMM (суммарно 32 Гбайт) составляет 260 Вт без нагрузки (350 Вт с нагрузкой). В среднем переход от ненагруженного узла кластера к нагруженному, по некоторым оценкам, увеличивает энергопотребление на 30%.
Приведенные оценки энергопотребления получены для разных кластеров и в разных вычислительных центрах. Потребление преднамеренно указывают в расчете на узел кластера, а не на сервер, имея в виду специфическую нагрузку вычислительного характера. Но и в зависимости от типа вычислительной нагрузки результаты будут различными. Для иллюстрации этого факта приведем данные, полученные в NASA. Сервер с двухъядерными процессорами Opteron (Socket F) на базе материнской платы Tyan Thunder n3600M в момент включения потребляет 330 Вт, ненагруженный — после загрузки операционной системы — 200 Вт, при интенсивной работе с диском — 270 Вт, под вычислительной нагрузкой — 350 Вт.
Для коммерческой нагрузки сошлемся на данные, приводимые Fujitsu Siemens. Сервер Primergy RX300 S2 без нагрузки потребляет 180 Вт, под нагрузкой — уже 280 Вт. Для серверов-лезвий эффект может быть еще выше. Так, Primergy TX600 с четырьмя процессорами Xeon/3 ГГц, 4 Гбайт памяти и 12 SCSI-дисками с двумя RAID-контроллерами без нагрузки потребляет 350 Вт, а при индексации базы данных — 550 Вт.
Исходя из некоторых грубых типовых оценок, например из тех, что приведены выше, можно при выборе конфигурации сервера сделать определенный «запас на прочность». Ведь цены на электроэнергию будут только расти, так что самое время задуматься об ее экономии…