Немецкому Бундестагу пришлось отложить принятие поправок к Закону об энергоэффективности (Energy Efficiency Act) на время традиционных правительственных каникул — как сообщает издание DataCenter Dynamics, на голосование просто не явилось достаточное для формирования кворума количество депутатов. Никаких поправок внесено уже, вероятно, не будет, но голосование перенесено на сентябрь.

Новый закон устанавливает допустимые уровни PUE для дата-центров, а также регламентирует обязательную утилизацию «мусорного» тепла ЦОД. При этом имеются важные исключения из законопроекта от ноября 2022 года, иронично названного в Германской ассоциации дата-центров (GDA) «законом по предотвращению ЦОД». В GDA подчёркивают, что предпочитают стимулирующие меры строгим требованиям.

Закон об энергоэффективности предусматривает снижение Германией энергопотребления на 26,5 % к 2030 году, до показателей 15-летней давности. Евросоюз же на фоне энергетического кризиса призывает снизить общее энергопотребление к 2030 году на треть. Хотя требования к ЦОД в новой версии не такие жёсткие, по-прежнему предусмотрено обязательное использование тепла ЦОД. Это может ограничить реализацию новых проектов, а требования к уровню PUE и использованию возобновляемой энергии могут оказаться не по плечу провайдерам колекейшн-сервисов.

Источник изображения: Sigmund/unsplash.com

В первой версии законопроекта от 2022 года ЦОД должны были передавать не менее 30 % избыточного тепла другим организациям уже со следующего года, а с 2027 года — от 40 %. В некоторых случаях эти требования просто невозможно выполнить по экономическим причинам или из-за отсутствия необходимой инфраструктуры. В мае 2023 года требования скорректировали. Теперь речь идёт об отдаче только 10 % тепла с 2026 года и от 20 % — с 2028-го.

Источник: Uptime Institute

Германские операторы посчитали, что и такие требования чрезмерны, поскольку спрос не всегда будет соответствовать предложению, а в некоторых местностях системы центрального отопления для передачи им «мусорного» тепла просто отсутствуют. После переговоров с представителями бизнеса добавились исключения, позволяющие обойти требования.

Предполагается, что в окончательном варианте закона будет отменено требование размещать ЦОД не дальше 5 км от системы центрального отопления. Вместо этого все новые ЦОД должны будут иметь специальные станции передачи тепла на своей территории, а операторов систем отопления обяжут отвечать на предложение избыточного тепла в шестимесячный срок. Коммунальные службы считают такие проекты сложными и дорогими.

С 2026 года уровень PUE не должен превышать 1.2, хотя GDA отмечает, что некоторые уже одобренные проекты ЦОД не соответствуют этому требованию. Кроме того, колокейшн-провайдеры не смогу полноценно контролировать уровень PUE, поскольку их клиенты будут действовать на своё усмотрение. Наконец, закон всё ещё требует использовать 50 % возобновляемой энергии к 2024 году, и 100 % — к 2027. Исключение делается в случае получения «зелёных» сертификатов у северных соседей Германии вместо использования местной экобезопасной энергии.

Компания Microsoft выходит на новый уровень обеспечения своих ЦОД «зелёной» электроэнергией. Как сообщает DataCenter Dynamics, дата-центр IT-гиганта в Бойдтоне (Вирджиния, США), будет получать до 100 % безуглеродной энергии в круглосуточном режиме — это нехарактерное условие современных соглашений о покупке энергии (PPA). Кампус в Бойдтоне обошёлся примерно в $500 млн и неоднократно расширялся. Этот проект иногда называют крупнейшей инвестицией в Южной Вирджинии.

Известно, что современная «безуглеродная» энергия далеко не всегда по-настоящему является таковой. Многие компании, приобретающие PPA, на деле питают свои ЦОД из самых разных источников. Фактически оговаривается только объём вырабатываемой безуглеродной энергии, но не место или время и иногда даже год её выработки. Так, Microsoft уже приобрела немало сертификатов PPA, чтобы компенсировать использование энергию, получаемую в том числе за счёт ископаемого топлива.

Источник изображения: Lee Lawson/unsplash.com

Теперь АЭС Constellation будут включены в «энергопакет» дата-центра в Бойдтоне, куда уже входят поставки энергии от ветрогенераторов и солнечных электростанций. АЭС позволит круглосуточно поставлять безуглеродную энергию в том объёме, который нужен. Нюанс в том, что у Constellation нет ни одной АЭС поблизости от ЦОД, так что фактически он будет получить энергию из локальных источников, а АЭС будет отдавать такой же объём своим клиентам. Для взаимозачёта используется специальная платформа, размещённая в облаке Microsoft Azure.

Впрочем, в США уже есть проекты ЦОД с питанием непосредственно от АЭС, а в России такой дата-центр работает уже несколько лет. Есть и планы по использованию малых ядерных реакторов, которые позволят размещать дата-центры где угодно, а не только в непосредственной близости от атомных электростанций.

Соглашения о покупке энергии (PPA) обеспечивают оператором дата-центров возможность использовать электричество, получаемое из возобновляемых источников. Как сообщает DataCenter Dynamics, компания Microsoft заключила PPA сроком на 10 лет с новозеландской компанией Contact Energy, причём договор заключили ещё в сентябре 2022 года.

По имеющимся данным, это первый контракт Contact Energy такого типа в Новой Зеландии. Фактически Microsoft скупила на этот срок мощности, обеспечиваемые геотермальной электростанцией Te Huka Unit 3 — всего 41,4 МВт. Как сообщают в компании, электростанция, в свою очередь, получила уверенность в будущей поддержке и развитии своего проекта.

В прошлом году Contact Energy уже анонсировала намерение инвестировать порядка $182,4 млн в Unit 3. Это четвёртая геотермальная станция на площадке Te Huka, станция должна быть введена в эксплуатацию уже в конце 2024 года. Кроме того, компания работает над геотермальной станцией Tauhara на 168 МВт, которая тоже заработает уже в следующем году.

Источник изображения: Sophie Turner/unsplash.com

Microsoft сообщила о желании построить новый облачный регион Azure в Новой Зеландии ещё в 2020 году. С тех пор аналогичные намерения выразили AWS и Amazon, а AWS даже ранее в этом году заключила PPA на 103 МВт с компанией Mercury, также поставляющей возобновляемую энергию.

В прошлом году Microsoft анонсировала партнёрство с компанией Ecotricity, также являющейся поставщиком возобновляемой энергии в Новой Зеландии, хотя о сделке пока почти ничего не известно. В Microsoft New Zealand заявляют, что у компании в стране большие планы, а сотрудничество обеспечит более быстрый переход на 100 % возобновляемую энергию к 2025 году.

Помимо геотермальной, Microsoft покупает и другую энергию. Так, компания уже подписала несколько PPA о закупке энергии, частично поставляемой АЭС, а также PPA, предусматривающее возможную закупку электричества, которое потенциально будет вырабатываться за счёт термоядерного синтеза компанией Helion.

Японская Japan Renewable Energy Corporation (JRE) сообщила о достижении стабильной работы центра обработки данных, полностью обеспечиваемого электричеством, получаемым с помощью солнечных элементов питания, и охлаждаемого водой из скважины.

Ещё до анонса проекта японские власти рассказали о готовности регионов предложить место для размещения ЦОД подальше от Токио в рамках плана по децентрализации ЦОД — сейчас 60 % из них расположены в сейсмоопасном и уязвимом для цунами районе вблизи Токио, что грозит возможными перебоями в работе сервисов. В июне 2022 года было объявлено о реализации совместного проекта JRE и Morgenrot в префектуре Нагано возле солнечной электростанции, принадлежащей JRE.

JRE Nagano Omachi Solar Power Plant. Источник изображения: JRE

Микро-ЦОД контейнерного типа был создан компанией Mirait Corporation и введён в эксплуатацию в декабре 2022 года. ЦОД оптимизирован для ИИ- и HPC-нагрузок. В нём размещено 40 GPU-серверов с ускорителями AMD и NVIDIA. Система охлаждения ЦОД не предусматривает использования ХФУ-хладагентов и потребляет лишь воду из близлежащей скважины. Комплекс имеет PUE на уровне 1,1 и обеспечивает нулевые выбросы CO₂ (без учёта выбросов при строительстве и производстве оборудования).

Ресурсами серверов управляет компания Morgenrot, предоставляющая облачный сервис M:CPP (Morgenrot Computing Power Pool). Для Morgenrot это не первый реализованный проект «зелёного» ЦОД — компания имеет схожие мощности с питанием возобновляемой энергией по всему миру. Известно, что солнечная электростанция JRE Nagano Omachi Solar Power Plant имеет установленную мощность 2442 кВт и, как ожидается, сможет выдавать 3,5 млн кВт·ч ежегодно.

Немецкая компания Intilion получила крупнейший в своей истории заказ от Power & Air Condition Solution Management GmbH (PASM), «дочки» немецкой телекоммуникационной компании Deutsche Telekom, на поставку систем хранения энергии (ESS) общей мощностью около 60 МВт·ч. Заказ должен быть выполнен до конца года, сообщил ресурс Datacenter Dynamics. В планах оператора — постройка энергохранилищ общей ёмкостью 300 МВт·ч.

По словам главы Intilion AG, компания не только получила самый крупный заказ на ESS от известного заказчика, но и успешно вышла на важный для неё рынок систем хранения энергии для телекоммуникационной отрасли и дата-центров. Intilion поставляет масштабируемые и интегрированные решения для хранения энергии, ориентированные на использование в системных и критически важных инфраструктурах, таких как коммерческие, промышленные и сетевые объекты. Ёмкость хранилищ Intilion Scalecube на основе Li-Ion аккумуляторов составляет от 70 кВт·ч до 100 МВт·ч.

Источник изображения: Intilion

В рамках контракта Intilion построит три крупномасштабных энергохранилища Scalecube для ЦОД Deutsche Telekom. Две из них ёмкостью около 26 МВт·ч будут установлены в Ганновере и Бамберге, а ещё одна (6 МВт·ч) — в Мюнстере. Компания планирует начать пробную эксплуатацию систем в III квартале 2023 года с переходом к работе в обычном режиме к концу года. Кроме того, PASM договорилась о сотрудничестве с норвежским поставщиком модульных решений для хранения энергии Pixii PowerShaper.

Европарламент и Евросовет, наконец, согласовали текст Директивы по энергетической эффективности (EED). Как сообщает ComputerWeekly, документ обязывает операторов ЦОД в Евросоюзе обеспечить свободный доступ к данным о воздействии их проектов на окружающую среду. Кроме того, в скором будущем некоторые ЦОД станут обязаны отдавать избыточное тепло со своих площадок на нужды общества.

Ассоциация Sustainable Digital Infrastructure Alliance (SDIA), намеренная добиваться того, чтобы дальнейший рост индустрии ЦОД не продолжался за счёт ущерба окружающей среде, и выступающая за использование открытых и доступных технологий энергоснабжения, приветствовала финальный вариант директивы. В SDIA назвали утверждение окончательного варианта документа важной вехой в деле перехода на экоустойчивую цифровую инфраструктуру к 2030 году.

Согласно новому документу, операторы ЦОД, у которых мощность объектов превышает 500 кВт, будут обязаны отчитываться о воздействии на окружающую среду не реже раза в год, а первый отчёт придётся подать не позже 15 мая 2024 года. SDIA активно участвует в формировании требований о том, какими именно данными должны будут делиться операторы ЦОД.

Изображение: Jan Huber / Unsplash

Так, операторы должны будут включать в отчёт подробности о потребляемой энергии, а также данные о температурах на объекте, использовании возобновляемой энергии и другие сведения. Еврокомиссия создаст базу ЦОД, куда и будет внесена вся эта информация. На основе собранных данных директива будет скорректирована, и к 15 мая 2025 года обновлённый документ получит уточнённые нормы и стандарты для ЦОД, а также план по переходу к нулевым углеродным выбросам.

Важным новым требованием к дата-центрам мощностью более 1 МВт является обязательная утилизация избыточного тепла. Если это по каким-либо причинам невозможно, от операторов потребуется техническое или финансовое обоснование отказа. При этом спрос на такое тепло пока мал. При этом новые экологические нормативы, по данным Uptime Institute, будут одной из причин роста затрат на строительство и обслуживание ЦОД в ближайшие годы.

Американская Green Energy Partners (GEP), специализирующаяся на ЦОД и энергетике, как сообщает DataCenter Dynamics, намерена возвести сразу 30 новых ЦОД по соседству с АЭС. Впоследствии компания планирует построить новые источники энергии для основного и резервного питания этих дата-центров. Причём речь идёт об атомной и водородной энергетике.

Строительство предполагается вести на участке рядом с 1,6-ГВт АЭС Surry Nuclear Power Plant, принадлежащей оператору Dominion Energy — здесь GEP приобрела участок площадью около 260 га. Два реактора станции (PWR) будут эксплуатироваться минимум до 2052–2053 гг. Они обеспечат новые ЦОД энергией на первое время, а когда дата-центры начнут приносить существенную прибыль, рядом будут построены и малые модульные реакторы (SMR).

Первый этап возведения кампусов начнётся в 2024 году. Они будут расположены между «долиной дата-центров» в Северной Вирджинии (преимущественно в округе Лаудон) и наземной станцией подключения подводных ВОЛС в Вирджиния-Бич. Это позволит разгрузить север региона, например — в округе Лаудон ЦОД потребляют около 20 % всей электроэнергии, из-за чего дальнейшее развитие индустрии ЦОД здесь затруднено из-за нехватки электричества и даже недостатка ЛЭП.

Источник изображения: NuScale

Изначально ЦОД будут питаться от уже существующей электросети, но позже будет организовано строительство 250-МВт SMR. Более того, в ближайшие 10–15 лет они будут не только давать «безуглеродную» энергию для ЦОД, но и станут использоваться для производства «зелёного» водорода для резервных генераторов всё тех же ЦОД и продажи сторонним заказчикам, в том числе для подачи по существующим газопроводам в смеси с природным газом. Ожидается, что реакторы займут площадь 14 га, а ещё 8 га — мощности для производства водорода.

Предполагается, что на площадке будут использоваться реакторы Voygr компании NuScale, уже сотрудничающей с Shell в деле изучения возможностей SMR для электролиза. Главная проблема в том, что энергия именно такого реактора на данный момент стоит $90 за МВт·ч — это не только дороже электричества из обычных источников, но даже и энергии из возобновляемых источников, солнечных или ветряных электростанций. В остальном проект представляет собой почти идеальную комбинацию, обеспечивающую производство и потребление зелёной энергии вблизи готовой кабельной инфраструктуры.

Возведение ЦОД рядом с прицелом на использование атомной энергии — уже не уникальный случай. Так, в конце января Talen Energy завершила строительство первой очереди ЦОД при АЭС в Пенсильвании, а Bahnhof собирается построить в Стокгольме реактор для питания своего дата-центра. При этом Вирджиния обгоняет по ёмкости сверхкрупных дата-центров и Европу, и Китай, поэтому малые модульные реакторы могут стать именно тем решением, которое позволит разгрузить местную энергетическую инфраструктуру.

Оператор дата-центров Aruba Global Cloud приобрёл две гидроэлектростанции на итальянской реке Брембо. Они обеспечат дополнительной «зелёной» энергией кампус компании в провинции Бергамо. Оператор всерьёз подходит к реализации «зелёных» проектов — теперь у компании в собственности есть сразу девять ГЭС и ряд других источников экологически безопасной энергии.

Источник изображения: Aruba

Мощность новых ГЭС Paladina и Ponte Briolo составляет 2 МВт, они расположены на одной реке недалеко от ЦОД Aruba, расположенного на территории муниципалитета Понте-Сан-Пьетро провинции Бергамо. Ещё одна из уже имеющихся в распоряжении компании электростанций тоже расположена на той же реке. Суммарная мощность всех ГЭС компании достигает 9,2 МВт, а ежегодно компания намерена получать от них порядка 50 ГВт·ч.

Как сообщает DataCenter Dynamics, Aruba инвестировала немалые средства в «зелёные» источники энергии. Так, кампус в Понте-Сан-Пьетро (30 тыс. м²) питается от солнечных элементов совокупной мощностью почти 5 МВт, а также получает энергию от ГЭС и геотермальных источников. Но этого мало, поскольку в перспективе планируется нарастить площадь кампуса до 200 тыс. м² , а мощность довести до 60 МВт. Также у Aruba есть два объекта в городе Ареццо, а ещё два — в Риме и в чешском Ктише — пока строятся. Экологически чистая энергия будет поставляться как минимум на некоторые из этих площадок. В частности, солнечные панели будут активно применяться в римском ЦОД.

Крупные американские операторы ЦОД, по сообщению Datacenter Dynamics со ссылкой на исследование S&P Global, в течение 2022 года увеличили закупки энергии из возобновляемых источников приблизительно на 50 % по сравнению с предыдущим годом. Львиная доля таких контрактов приходится всего на четырёх гиперскейлеров: Amazon, Google, Meta✴ и Microsoft. Все они в перспективе намерены добиться нулевых выбросов парниковых газов в атмосферу.

Источник: S&P Global

Говорится, что дата-центры в США зарезервировали 40 ГВт «зелёной энергии». Это составляет примерно ⅔ от общего объёма ветровой и солнечной энергии, доступной американским корпоративным заказчикам. Лидером по закупкам является Amazon с контрактами на более чем 20 ГВт возобновляемой энергии. Google, Meta✴ и Microsoft занимают второе, третье и четвёртое места соответственно. Более мелкие заказчики, такие как Iron Mountain, Digital Realty, QTS и Switch, зарезервировали 1,5 ГВт. При этом Google, Microsoft и Iron Mountain стремятся к тому, чтобы их площадки питались возобновляемой энергией круглосуточно.

Источник изображения: Jan Huber/unsplash.com

На мировом рынке наблюдается аналогичная картина. С учётом потребностей Apple, «большая пятёрка» заключила контракты на закупку 45 ГВт «зелёной» энергии по всему миру — это более половины (приблизительно 57 %) от общей выработки, но без учёта изолированных источников вроде солнечных панелей на крышах самих ЦОД. Все вышеупомянутые компании намерены перейти на 100-% «зелёное» питание. Участники рынка полагают, что в долгосрочной перспективе темпы роста потребления возобновляемой энергии могут негативно повлиять на планы других предприятий по обеспечению нулевых углеродных выбросов.

Хотя гиперскейлеры заключили контракты на 40 ГВт возобновляемой энергии в США, текущая оценка их общего потребления составляет немногим более 22 ГВт, а в ближайшие несколько лет эта цифра вырастет до 33 ГВт. Такая картина объясняется тем, проекты по возобновляемым источникам энергии указывают свою пиковую мощность, в то время как средняя выработка электроэнергии намного ниже из-за погодных и других факторов.

Согласно исследованию «Data Center and IT Spending Survey 2022» организации Uptime Institute, более ⅔ операторов предприятий и колокейшн-операторов рассчитывают увеличить расходы на ЦОД в 2023 году. Большинство корпоративных ЦОД (90 %) собираются наращивать мощности в течение следующих двух-трёх лет, причем половина из них планирует строить новые объекты.

В Uptime Institute отметили, что затраты на строительство ЦОД и сроки выполнения заказов, значительно сократившиеся в 2010-х годах, сейчас, наоборот, растут. По оценкам Uptime Institute, в 2010 году строительство среднего корпоративного ЦОД уровня Tier III обходилось примерно в $12 млн/МВт (без учёта земельных и строительных работ), и на это требовалось до двух лет. Перед пандемией COVID-19, благодаря изменениям в проектировании и строительстве, затраты на создание ЦОД сократились до $6–8 млн/МВт, а продолжительность строительства снизилась до менее чем 12 месяцев.

В настоящее время стоимость проектов и сроки их выполения заметно изменились, так как из-за длительного времени ожидания поставки некоторых важных компонентов (генераторы и централизованные системы бесперебойного питания) значительно выросли цены. По оценкам Uptime, к 2022 году затраты на строительство ЦОД уровня Tier III выросли на $1–2 млн/МВт, а продолжительность — до 12 месяцев и больше.

Источник изображений: Uptime Institute

Несмотря на то, что цены на отдельные компоненты начали стабилизироваться, хотя и на более высоком уровне по сравнению с допандемийным периодом, аналитики Uptime Institute ожидают в 2023 году их дальнейший рост. Дефицит продукции вместе с более высокой стоимостью рабочей силы, полупроводников и электроэнергии оказывают инфляционный эффект по всей отрасли, отметили аналитики.

Вместе с тем приобретение площадок в крупных ЦОД с подключением к сети с малой задержкой теперь стоит дороже, поскольку в популярных регионах размещения ЦОД наблюдаются проблемы с наличием свободных участков и обеспечением электроэнергией, отметила Uptime Institute.

Исследование цепочек поставок за 2022 год показывает, что труднее всего было достать холодильные установки для машинных залов, системы ИБП и компоненты распределения электроэнергии. Из 678 участников опроса 80 % сообщили о повышении цен поставщиками за последние 18 месяцев. Отмечено, что цены на литий-ионные аккумуляторы, которые ежегодно снижались до 2021 года, в 2022 году выросли из-за нехватки сырья и высокого спроса.

Также на росте капзатрат отражается ужесточение требований к экологичности проектов. Действующие в крупных локациях ЦОД, таких как Амстердам и Сингапур, нормы приводят к тому, что только разработки с высокоэффективным дизайном могут быть одобрены регулирующими органами. Новые стандарты энергоэффективности (например, в ЕС) ведут к ещё большему росту стоимости строительства. Также будут расти затраты на электроэнергию, что требует оптимизации энергопотребления.

Аналитики считают, что в 2023 году будет наблюдаться рост и по операционным расходам ЦОД и ИТ-инфраструктур из-за резкого увеличения основных затрат на ввод. Исследование Uptime Institute показало, что наибольший рост удельных затрат у большинства операторов связан с электроэнергией, что является результатом высоких цен на газ, перехода на возобновляемые источники энергии, дисбаланса в электроснабжении и геополитических изменений.

Больше всего пострадали от повышения цен Великобритания и Евросоюз. Ожидается, что в дальнейшем затраты на электроэнергию снизятся по сравнению с рекордными показателями в 2022 году, но всё равно останутся значительно выше среднего уровня за последние два десятилетия.

На втором месте после электроэнергии по росту затрат на ЦОД находится ИТ-оборудование, что отчасти связано со сбоями в цепочке поставок, нехваткой некоторых чипов и коммутационного оборудования, а также инфляцией. Как ожидают аналитики, в связи с улучшениями в цепочке поставок, цены и сроки поставки ИТ-оборудования (за некоторыми исключениями) сократятся в первой половине 2023 года. Во второй половине 2023 года спрос на оборудование для ЦОД, как ожидается, снова возрастёт, как только некоторые крупные клиенты займутся увеличением своих мощностей, что снова приведет к дефициту некоторых категорий оборудования.

На увеличение затрат на эксплуатацию ЦОД также влияют проблемы с квалифицированными кадрами — многие респонденты вынуждены повышать зарплату в попытке удержать текущий персонал.

Подводя итоги, Uptime Institute сообщает, что общие затраты на строительство и эксплуатацию ЦОД в течение следующих нескольких лет значительно возрастут. С целью их снижения компании будут использовать различные подходы, включая автоматизацию, повышение энергоэффективности и переход в облако, но это потребует дополнительных капиталовложений, новых навыков и сопряжено с техническими сложностями.

Вместе с тем, несмотря на растущие затраты, многие операторы ЦОД считают, что локальное размещение рабочих нагрузок по-прежнему дешевле, чем колокация (54 %) или миграция в облачную структуру (64 %).