Uptime Institute опубликовал данные ежегодного, 13-го по счёту, опроса операторов ЦОД Global DataCenter Survey 2023, который показал, что из-за недостаточного сбора данных об использовании электроэнергии и воды им будет сложно соответствовать новым требованиям и нормативным актам по отчётности в области экологически устойчивого развития.

На фоне ужесточения контроля со стороны регулирующих органов за деятельностью отрасли с целью уменьшения вредного воздействия ЦОД на окружающую среду результаты исследования показывают, какую работу необходимо выполнить в данном секторе для улучшения отслеживания объёмов потребляемых ресурсов и генерируемых выбросов.

«В нескольких исследованиях, проведённых за последние годы, Uptime Institute отмечал, что сбор и представление данных, связанных с устойчивостью, а также расчёт соответствующих показателей в лучшем случае носят фрагментарный характер. Опрос ещё раз подтверждает это мнение», — говорится в сопроводительной записке.

Источник: Uptime Institute

«Многим операторам будет сложно соответствовать новым требованиям к отчётности в области устойчивого развития или требованиям некоторых клиентов и даже общественности». В отчёте указано, что операторы, как правило, фокусируются на мониторинге использования электроэнергии и воды на своих объектах, а не на учёте количества выделяемых ими парниковых газов, по соображениям экономии средств.

«Потребление электроэнергии, PUE и расход воды легко отслеживать, и любое улучшение в этих областях часто позволяет сэкономить средства, — говорится в отчёте. — Сокращения выбросов CO₂, которое, конечно, может быть частично достигнуто за счёт добросовестного управления энергопотреблением, гораздо сложнее добиться и это приносит меньше непосредственной выгоды». 88 % участников опроса заявили, что следят за потреблением электроэнергии, а 71 % — что контролируют PUE, но менее половины респондентов сообщили о том, что докладывают о потреблении воды или что следят за утилизацией своих серверов.

«Отчётность о показателях, связанных с фактическими выбросами CO₂, остаётся очень слабой, что говорит о том, что в предстоящие годы потребуются некоторые быстрые восстановительные работы», — указано в отчёте. Впервые за 13 лет участникам также был задан вопрос о ключевых проблемах в управлении, вызывающих у них обеспокоенность. В ответ многие в качестве главной проблемы назвали кадровый вопрос, который со временем многие надеются решить с помощью ИИ, а также необходимость повышения энергоэффективности своих дата-центров.

Источник: Uptime Institute

В частности, было отмечено, что по показателю энергоэффективности прогресс застопорился. В течение четырёх–пяти лет среднегодовой показатель PUE остаётся на отметке 1,58–1,59. Это говорит о том, что простые способы улучшения PUE уже исчерпали себя. Для повышения энергоэффективности многих существующих объектов необходимы капитальные работы, дорогостоящие и потенциально опасные. Естественно, более современные объекты имеют лучшие показатели: 16 % респондентов в этом году сообщили о среднегодовом показателе PUE ниже 1,3, в основном в Европе, США и Канаде.

В опросе Uptime Institute участвовали более 850 владельцев и операторов центров обработки данных, а также 700 поставщиков и консультантов, которым были заданы вопросы о состоянии отрасли с точки зрения устойчивости, результативности, укомплектования персоналом и регулирования.

Чем активнее внедряются ИИ-системы, тем важнее становится роль памяти HBM и DDR5, а в особенности её энергоэффективность. Так, в крупномасштабных системах на базе NVIDIA A100 на долю памяти может приходиться до 40 % потребляемой энергии. Неудивительно, что крупные производители памяти объединяют свои усилия с академическими кругами, чтобы разработать более экономичную память нового поколения.

В частности, Samsung на базе CXL и 12-нм техпроцесса уже разработала чипы DDR5 ёмкостью 16 Гбайт, который на 23 % экономичнее в сравнении с аналогичными чипами предыдущего поколения. В содействии с Сеульским национальным университетом (Seoul National University) Samsung продолжает вести работы по дальнейшему снижению энергопотребления. Сам университет также ведёт исследования в этом направлении и уже разработал новую технологию DRAM Translation Layer. Ожидается, что её внедрение поможет снизить энергопотребление DRAM ещё на 31,6 %.

Источник: SK Hynix

Не отстаёт от Samsung и другой крупный производитель устройств памяти, компания SK Hynix. Она представила новое поколение LPDDR5X, в котором применен техпроцесс High-K Metal Gate (HKMG). Благодаря материалу с оптимизированной диэлектрической проницаемостью удалось впятеро повысить заряд в ячейке, снизив при этом токи утечки. В итоге новая память LPDDR5X от SK Hynix может похвастаться на 33 % более высокой производительностью при 20 % экономии в энергопотреблении, в сравнении с предыдущим поколением.

Немецкому Бундестагу пришлось отложить принятие поправок к Закону об энергоэффективности (Energy Efficiency Act) на время традиционных правительственных каникул — как сообщает издание DataCenter Dynamics, на голосование просто не явилось достаточное для формирования кворума количество депутатов. Никаких поправок внесено уже, вероятно, не будет, но голосование перенесено на сентябрь.

Новый закон устанавливает допустимые уровни PUE для дата-центров, а также регламентирует обязательную утилизацию «мусорного» тепла ЦОД. При этом имеются важные исключения из законопроекта от ноября 2022 года, иронично названного в Германской ассоциации дата-центров (GDA) «законом по предотвращению ЦОД». В GDA подчёркивают, что предпочитают стимулирующие меры строгим требованиям.

Закон об энергоэффективности предусматривает снижение Германией энергопотребления на 26,5 % к 2030 году, до показателей 15-летней давности. Евросоюз же на фоне энергетического кризиса призывает снизить общее энергопотребление к 2030 году на треть. Хотя требования к ЦОД в новой версии не такие жёсткие, по-прежнему предусмотрено обязательное использование тепла ЦОД. Это может ограничить реализацию новых проектов, а требования к уровню PUE и использованию возобновляемой энергии могут оказаться не по плечу провайдерам колекейшн-сервисов.

Источник изображения: Sigmund/unsplash.com

В первой версии законопроекта от 2022 года ЦОД должны были передавать не менее 30 % избыточного тепла другим организациям уже со следующего года, а с 2027 года — от 40 %. В некоторых случаях эти требования просто невозможно выполнить по экономическим причинам или из-за отсутствия необходимой инфраструктуры. В мае 2023 года требования скорректировали. Теперь речь идёт об отдаче только 10 % тепла с 2026 года и от 20 % — с 2028-го.

Источник: Uptime Institute

Германские операторы посчитали, что и такие требования чрезмерны, поскольку спрос не всегда будет соответствовать предложению, а в некоторых местностях системы центрального отопления для передачи им «мусорного» тепла просто отсутствуют. После переговоров с представителями бизнеса добавились исключения, позволяющие обойти требования.

Предполагается, что в окончательном варианте закона будет отменено требование размещать ЦОД не дальше 5 км от системы центрального отопления. Вместо этого все новые ЦОД должны будут иметь специальные станции передачи тепла на своей территории, а операторов систем отопления обяжут отвечать на предложение избыточного тепла в шестимесячный срок. Коммунальные службы считают такие проекты сложными и дорогими.

С 2026 года уровень PUE не должен превышать 1.2, хотя GDA отмечает, что некоторые уже одобренные проекты ЦОД не соответствуют этому требованию. Кроме того, колокейшн-провайдеры не смогу полноценно контролировать уровень PUE, поскольку их клиенты будут действовать на своё усмотрение. Наконец, закон всё ещё требует использовать 50 % возобновляемой энергии к 2024 году, и 100 % — к 2027. Исключение делается в случае получения «зелёных» сертификатов у северных соседей Германии вместо использования местной экобезопасной энергии.

В апреле 2023 года Hyperion Research при поддержке Dell, Intel и NVIDIA провела опрос относительно экологической устойчивости высокопроизводительных вычислений (HPC). В опросе приняли участие менеджеры и руководители ЦОД HPC и провайдеров облачных услуг (CSP), а также учёные, исследователи и инженеры.

По словам Жаклин Лудема (Jaclyn Ludema), ведущего аналитика по устойчивому развитию Hyperion Research, исследование свидетельствует о значительном повышении важности показателей экоустойчивости и энергоэффективности в списках приоритетов для многих планов закупок, уступающих лишь показателю производительности, и обладающих даже более высоким приоритетом, чем цена.

Согласно опросу, 57 % респондентов нацелены на то, чтобы выполнить больше работ с меньшими затратами энергии. По мере роста числа рабочих нагрузок, связанных с искусственным интеллектом (ИИ), машинным обучением (ML) и высокопроизводительным анализом данных (HPDA) стремление к расширению вычислительных возможностей сталкивается с увеличением затрат на энергию. 55 % респондентов, включая промышленный сектор, госучреждения и научные организации, отметили, что затраты на электроэнергию влияют на уровень инвестиций в новые системы HPC.

Источник изображения: Hyperion Research

О непомерно высоких затратах на электроэнергию сообщили 33 % участников опроса. Вместем с тем 48 % респондентов назвали экологические, социальные и управленческие цели (ESG) важными именно в контексте экологически устойчивого развития, а не только в контексте затрат. Впрочем, госрегулирование также является мотиватором устойчивого развития.

Отвечая на вопрос по поводу влияния расходов на электроэнергию на работу ЦОД HPC, 58 % респондентов указали несколько последствий воздействия этого фактора. В том числе:

• 60 % сообщили, что рост затрат на электроэнергию отсрочит покупку новых систем;
• 43 % считает, что это ограничит возможности существующих систем;
• 34 % указали, что из-за этого сократят время работы своих систем.

Исследователи отметили, что рост использования облачных сервисов HPC обусловлен целым рядом факторов, в том числе возможностью передать на аутсорсинг операционные вопросы, такие как затраты на электроэнергию и ресурсы. Также сообщается, что всё больше предприятий обращаются к провайдерам облачных услуг для удовлетворения новых требований к энергоэффективности.

Респонденты распределили главные приоритеты при решении задач устойчивого развития следующим образом:

• 52 % отдают предпочтение эффективной конфигурации оборудования (более высокая производительность на Ватт);
• 42 % — оптимизации охлаждению и распределению энергии;
• 34% — оптимизации рабочих нагрузок (выявление эффективных нагрузок для работы локально и в облаке).

Исследователи ожидают, что закупка более экологичного оборудования будет частью регулярных планов закупок для 48 % площадок. Также отмечено, что использование интеллектуального управления питанием (телеметрии) находится на подъёме. В течение следующих 18 месяцев количество объектов, внедряющих телеметрию, увеличится до 40 % с нынешних 27 %.

Почти половина (49 %) руководителей ЦОД, участвовавших в опросе, сообщили, что в настоящее время они имеют возможность измерять углеродный след, потребление энергии или воздействие на окружающую среду, что повышает вероятность успеха в реализации планов по обеспечению устойчивого развития.

Согласно исследованию Hyperion Research, для создания энергоэффективного ЦОД требуются:

• Возобновляемые источники энергии;
• Эффективная конфигурация оборудования;
• Оптимизированная технология охлаждения;
• Интеллектуальное управление платформой;
• Управление питанием центра обработки данных;
• Оптимизированные рабочие нагрузки;
• Ответственный вывод оборудования из эксплуатации.

Представлена очередная редакция рейтинга Green500 — списка мощнейших вычислительных систем мира, имеющих наиболее высокую энергетическую эффективность. Лидером в данном сегменте, как и полгода назад, является комплекс Henri, установленный в Научно-исследовательском институте Флэтайрон (Flatiron Institute) в США.

В состав Henri входят узлы Lenovo ThinkSystem SR670 V2 с процессорами Intel Xeon Platinum 8362 Ice Lake-SP (32 ядра; 64 потока; 2,8–3,6 ГГц; 265 Вт). Задействованы ускорители NVIDIA H100 (80 Гбайт; PCIe) и интерконнект Infiniband HDR. Быстродействие Henri составляет 2,88 Пфлопс. При этом энергетическая эффективность достигает 65,396 Гфлопс/Вт. Система применяется для решения сложных задач в областях вычислительной астрофизики, биологии, математики, неврологии и квантовой физики. Любопытно, что в рейтинге мощнейших суперкомпьютеров мира TOP500 система Henri занимает только 255-ю строку.

Источник изображения: Lenovo

На втором месте в Green500 располагается машина Frontier TDS (32-я позиция в рейтинге TOP500). Этот суперкомпьютер на базе узлов HPE Cray EX235a с чипами AMD EPYC и ускорителями AMD Instinct MI250X обладает общим быстродействием до 19,2 Пфлопс. Энергоэффективность равна 62,68 Гфлопс/Вт. Отмечается, что лидер рейтинга TOP500 — комплекс Frontier — оказался на шестой строке списка Green500: 1,194 Эфлопс и 52,59 Гфлопс/Вт. Замыкает тройку система Adastra (12-я строка в TOP500) с аналогичной аппаратной составляющей: до 46,1 Пфлопс при показателе энергоэффективности на уровне 58,02 Гфлопс/Вт.

В Министерстве энергетики США объявили о выделении $40 млн 15 вендорам и университетским лабораториям на создание технологий охлаждения, которые позволят расходовать на отвод тепла лишь 5 % от общего потребления энергии дата-центром. Как сообщает Network World, подведомственное министерству агентство Advanced Research Projects Agency–Energy (ARPA-E) инициировало программу COOLERCHIPS, в рамках которой и распределяются средства.

В агентстве считают, что в современных системах эффективность использования энергии (PUE) не должна превышать коэффициент 1,05 — из всей выделяемой ЦОД энергии не более 5 % должно тратиться на охлаждение. Хотя некоторые передовые дата-центры, использующие жидкостное или иммерсионное охлаждение, уже сегодня демонстрируют PUE соответствующего уровня, в большинстве случаев для ЦОД этот показатель, по данным Uptime Institute, в среднем составляет 1,55.

Фото: LiquidStack

В Министерстве подчёркивают, что основной целью программы является минимизация воздействие ЦОД на окружающую среду, чему и будут способствовать инвестиции. Суммы грантов для 15 получателей составляют от $1,2 млн для мелких компаний до $5 млн для бизнесов вроде NVIDIA. Деньги выделяются на разнообразные технологии охлаждения, преимущественно жидкостные, но в некоторых случаях речь идёт, например, и о новых конструктивных решениях самих ЦОД.

Например, компании Flexnode выделили $3,5 млн на разработку быстровозводимых дата-центров модульной конструкции для периферийных вычислений, которые можно будет собирать, как конструктор LEGO. Калифорнийскому университету в Дэвисе тоже выделят $3,5 млн — но уже на разработку «Комплексных модульных энергоэффективных решений для направленного охлаждения (HoMEDiCS) для периферийных вычислений». Конструкция HoMEDiCS обеспечивает теплоотвод от CPU и ускорителей с помощью контура жидкостного охлаждения и применения высокоэффективных, но недорогих теплообменников.

Наконец, NVIDIA получит $5 млн на комбинированную систему Green Refrigerant, для ультраэффективного экологичного охлаждения HPC-решений. В данном случае будет сочетаться прямое охлаждение чипов, а также одно- или двухфазное охлаждение со встроенными насосами и парожидкостным сепаратором.

Хотя сумма в $40 млн невелика в сравнении с десятками миллиардов долларов, выделенных в рамках т.н. « Закона о чипах», относительно недавно принятого в США для развития полупроводниковой отрасли, компании с удовлетворением принимают и такие средства. Кроме того, по мнению американских экспертов, США должны иметь конкурентоспособное решение для всех звеньев производственной цепочки, а полученные результаты в числе прочего могут пригодиться в государственном секторе и военной сфере.

Помимо принимаемых в всём мире мер по снижению PUE, ищутся и другие способы сохранения окружающей среды. Например, в апреле поступили данные о том, что Евросоюз поставит на учёт крупные ЦОД и в рамках Директивы по энергетической эффективности (EED) не только обяжет операторов ЦОД в Евросоюзе обеспечить свободный доступ к данным о воздействии их проектов на окружающую среду, но и заставит некоторые ЦОД отдавать избыточное тепло со своих площадок на нужды общества.

Некоторые эксперты считают, что жизненный цикл жёстких накопителей подходит к концу. В их числе Шон Розмарин (Shawn Rosemarin), вице-президент по исследованиям и разработкам в подразделении по работе с клиентами (Customer Engineering) компании Pure Storage, заявивший, что после 2028 года жёсткие диски больше продаваться не будут из-за их плохой энергоэффективности и ограниченности применения, а также снижения стоимости флеш-накопителей.

Розмарин подчеркнул, что главным фактором падения конкурентоспособности жёстких дисков по сравнению с SSD станет высокий расход электроэнергии, а не снижение стоимости SSD или появление DFM ёмкостью 300 Тбайт собственной разработки Pure. Он отметил, что даже новейшие технологии магнитной записи с энергетической поддержкой, позволяющие значительно увеличить плотность записи, не спасут ситуацию.

Фото: Pixabay/FilipFilipovic

Производители HDD придерживаются другого мнения. Ещё в 2021 году Seagate заявила, что SSD не станут убийцами жёстких дисков. Мнения VAST и Infinidat по этому поводу заметно отличаются. Если VAST считает, что низкий уровень IOPS приведёт к ограничению использования ёмких HDD в хранилищах данных петабайтного масштаба, то Infidat отвечает, что это «должно быть шутка». Согласно оценкам Gartner, к 2026 году на долю SSD придётся 35 % от общего объёма поставок накопителей корпоративного класса (в Эбайт), что это делает маловероятным прогноз Розмарина.

«3 % мирового энергопотребления приходится на ЦОД, — приводит слова гендиректора Pure Розмарин. — Примерно треть от этого приходится на хранение. Почти всё это — HDD. Если отказаться от HDD и перейти на флеш-память, мы сможем, по сути, снизить энергопотребление на 80–90 %, увеличив плотность [хранения] на порядок в условиях, когда цены на NAND продолжают падать. Становится очевидным, что HDD уходят в прошлое».

Изображение: Pure Storage

Розмарин также отметил проблемы с поставками электроэнергии, доступность которой придётся учитывать при создании или расширении ЦОД — компаниям придётся выбирать между энергоэффективными SSD или ёмкими HDD. Скачок в развитии ИИ-технологий увеличил потребность в хранилищах, добавил Розмарин, что, по его словам, усугубляет проблему с точки зрения того, сколько данных смогут хранить провайдеры в связи с грядущим повышением спроса на электроэнергию.

Следует отметить, что Pure Storage является конкурентом производителей жёстких дисков, поэтому заявление её топ-менеджера необходимо оценивать с учётом этого факта. На данный момент массового перехода на флеш-память не наблюдается — ни один из гиперскейлеров пока не объявил о таком шаге. «Если же кто-то из них это сделает, то это будет сигналом того, что Pure Storage не одинока в своём убеждении », — пишет Blocks & Files.

Исследование, проведённое аналитиками Omdia, говорит о том, что «очень большое» количество телекоммуникационных компаний рассматривают технологию PON в качестве одного из ключевых элементов своих стратегий по снижению энергопотребления.

PON (Passive Optical Network) — технология оптических сетей с пассивными оптическими разветвителями. Такой подход позволяет снизить потребление энергии, что особенно важно в сложившейся макроэкономической обстановке и условиях кризиса. По словам главного аналитика Omdia Джули Канстлер (Julie Kunstler), технология PON эффективна с точки зрения использования оптоволокна, обладает высокой степенью безопасности и проста в обновлении.

Источник изображения: ComSoc

Однако, по её словам, во многих телекоммуникационных компаниях PON сталкивается с организационными препятствиями из-за убеждения, что данное решение подходит только для предоставления потребительских услуг. «Зачастую отделы продаж и маркетинга не уверены в PON просто потому, что не понимают этот подход. Многие считают, что PON-топология точка-многоточка предназначена только для жилых зданий, а технических возможностей для поддержки сервисов корпоративного уровня нет», — сказала госпожа Канстлер.

Однако на деле, как отметила Джули Канстлер, развёртывание бизнес-услуг на базе PON позволяет повысить рентабельность инвестиций в сетевую инфраструктуру. Используя такую оптическую сеть не только для жилых помещений, операторы могут перейти к конвергентному подходу предоставления интернет-доступа. Это особенно актуально в свете грядущего появления стандарта 50 GPON с пропускной способностью до 50 Гбит/с.

Европарламент и Евросовет, наконец, согласовали текст Директивы по энергетической эффективности (EED). Как сообщает ComputerWeekly, документ обязывает операторов ЦОД в Евросоюзе обеспечить свободный доступ к данным о воздействии их проектов на окружающую среду. Кроме того, в скором будущем некоторые ЦОД станут обязаны отдавать избыточное тепло со своих площадок на нужды общества.

Ассоциация Sustainable Digital Infrastructure Alliance (SDIA), намеренная добиваться того, чтобы дальнейший рост индустрии ЦОД не продолжался за счёт ущерба окружающей среде, и выступающая за использование открытых и доступных технологий энергоснабжения, приветствовала финальный вариант директивы. В SDIA назвали утверждение окончательного варианта документа важной вехой в деле перехода на экоустойчивую цифровую инфраструктуру к 2030 году.

Согласно новому документу, операторы ЦОД, у которых мощность объектов превышает 500 кВт, будут обязаны отчитываться о воздействии на окружающую среду не реже раза в год, а первый отчёт придётся подать не позже 15 мая 2024 года. SDIA активно участвует в формировании требований о том, какими именно данными должны будут делиться операторы ЦОД.

Изображение: Jan Huber / Unsplash

Так, операторы должны будут включать в отчёт подробности о потребляемой энергии, а также данные о температурах на объекте, использовании возобновляемой энергии и другие сведения. Еврокомиссия создаст базу ЦОД, куда и будет внесена вся эта информация. На основе собранных данных директива будет скорректирована, и к 15 мая 2025 года обновлённый документ получит уточнённые нормы и стандарты для ЦОД, а также план по переходу к нулевым углеродным выбросам.

Важным новым требованием к дата-центрам мощностью более 1 МВт является обязательная утилизация избыточного тепла. Если это по каким-либо причинам невозможно, от операторов потребуется техническое или финансовое обоснование отказа. При этом спрос на такое тепло пока мал. При этом новые экологические нормативы, по данным Uptime Institute, будут одной из причин роста затрат на строительство и обслуживание ЦОД в ближайшие годы.

Компания Google обнародовала новую информацию о своей облачной суперкомпьютерной платформе Cloud TPU v4, предназначенной для решения задач ИИ и машинного обучения с высокой эффективностью. Система может использоваться в том числе для работы с крупномасштабными языковыми моделями (LLM).

Один кластер Cloud TPU Pod содержит 4096 чипов TPUv4, соединённых между собой через оптические коммутаторы (OCS). По словам Google, решение OCS быстрее, дешевле и потребляют меньше энергии по сравнению с InfiniBand. Google также утверждает, что в составе её платформы на OCS приходится менее 5 % от общей стоимости. Причём данная технология даёт возможность динамически менять топологию для улучшения масштабируемости, доступности, безопасности и производительности.

Отмечается, что платформа Cloud TPU v4 в 1,2–1,7 раза производительнее и расходует в 1,3–1,9 раза меньше энергии, чем платформы на базе NVIDIA A100 в системах аналогичного размера. Правда, пока компания не сравнивала TPU v4 с более новыми ускорителями NVIDIA H100 из-за их ограниченной доступности и 4-нм архитектуры (по сравнению с 7-нм у TPU v4).

Изображение: Google

Благодаря ключевым инновациям в области интерконнекта и специализированных ускорителей (DSA, Domain Specific Accelerator) платформа Google Cloud TPU v4 обеспечивает почти 10-кратный прирост в масштабировании производительности по сравнению с TPU v3. Это также позволяет повысить энергоэффективность примерно в 2–3 раза по сравнению с современными DSA ML и сократить углеродный след примерно в 20 раз по сравнению с обычными дата-центрами.