Дата-центры традиционно являются стабильным источником тепла, поэтому многие компании пытаются найти ему применение. Тем не менее, как свидетельствует доклад Uptime Institute, этому есть немало ограничений, связанных как с географическим положением дата-центров, так и с различными техническими и иными ограничениями.

В докладе сообщается о текущем состоянии проектов использования постоянно выделяемого оборудованием ЦОД тепла и упоминаются вызовы, с которыми приходится столкнуться операторам ЦОД и властям всех уровней для того, чтобы подобные схемы заработали. Это тем более важно, что современные дата-центры тратят порядка 20–30 % электроэнергии на охлаждение. При этом проблему можно было бы как минимум частично решить, применив эффективные механизмы отвода тепла.

Индустрия учитывает тренд на создание экоустойчивых систем и принятие законов, нацеленных на защиту окружающей среды, и уделяет всё больше внимания созданию оборудования и технологий, позволяющих, например, использовать избыточное тепло для обогрева жилья и других объектов. К тому же бум в сфере ИИ-систем ведёт к созданию инфраструктуры повышенной энергоёмкости. Рост плотности мощности на стойку постепенно увеличивается, при этом ожидаемо выделяется всё больше тепла.

Источник изображений: Uptime Institute

Лидером по применению «мусорного» тепла ЦОД по версии Uptime Institute является север Европы, отчасти из-за весьма умеренного климата. При этом приходится учитывать, что использование такого тепла возможно, только если рядом есть его потребители, что усложняет задачу и увеличивает издержки при передаче тепла на расстояние. При этом уровень выделения тепла и стоимость энергии в каждом случае разные и многое зависит от сезона. Поэтому строить бизнес на таких технологиях часто нецелесообразно и многие операторы предлагают подобное тепло даром, хотя его удаётся и продавать.

Правда, исследование показало, что в плане энергетики подобные системы обычно либо приносят нулевую пользу, либо и вовсе убыточны, поскольку часто приходится применять тепловые насосы и иные системы донагрева до отдачи тепла в системы отопления, что часто только увеличивает общее потребление энергии. Тем не менее, утверждается, что включение подобных решений в районные системы отопления способно снизить общее потребление энергии и выбросы парниковых газов. Лидерами по внедрению таких проектов являются Швеция, Дания, Финляндия.

Изменение мощности стойки за последние три года

По итогам опроса 2022 года перспективные системы жидкостного охлаждения применяет меньшинство компаний, но подавляющее большинство относится к ним с благосклонным вниманием и рассматривает их применение в будущем.

В ноябре сообщалось, что британское правительство заявляло об инвестициях в объёме $41,4 млн на поддержку схемы передачи избыточного тепла на западе Лондона, способной обеспечить отоплению и горячую воду для 10 тыс. домов. Компания atNorth также раскрыла планы строительства нового ЦОД близ Хельсинки, который тоже будет отдавать тепло в местную систему отопления. По оценкам Uptime Institute, всего сегодня в Европе действуют порядка 60 проектов по использованию тепла ЦОД в отоплении, ещё 6 — в Северной Америке. 11 аналогичных проектов разрабатываются или возводятся.

Новые законы, направленные на борьбу с климатическими изменениями, также способствуют распространению таких систем. Обновлённая европейская Директива по энергоэффективности (EED) регламентирует, что ЦОД от 1 МВт должны либо применять наилучшие практики повышения энергоэффективности, в том числе подключаться к системам отопления, либо доказать, что это нецелесообразно. Более того, германский закон об энергоэффективности Energieeffizienzgesetz (EnEfG) ещё жёстче, поскольку фактически обязывает ЦОД отдавать тепло. В 2026 году вновь построенные ЦОД должны будут утилизировать 10 % избыточного тепла, а в 2028 — уже 20 %. Различные законодательные нормы применяются и в других странах.

Использование систем прямого жидкостного охлаждения

В целом применяются различные схемы, от уже упомянутых до не совсем стандартных. Например, Bytesnet использует погружные СЖО, от которых забирается избыточное тепло, а финский оператор систем отопления Fortum сам определил местоположение ЦОД Microsoft, от которых он получает тепло. Одна из самых необычных схем применяется в Японии, где для охлаждения применяется снег, а талая вода потом применяется для выращивания угрей на продажу. Экономика подобных систем довольно сложна. Приходится учитывать многочисленные факторы, от потребностей местных отопительных сетей до себестоимости энергии и тепла. Впрочем, строить ЦОД с интегрированными механизмами отвода избыточного тепла часто дешевле, чем переделывать старые.

Правительство Кении объявило в ходе саммита CPO28 о выделении $4,48 млрд на «зелёные» гопроекты, в число которых входят строительство крупного кампуса ЦОД и освоение новых источников энергии. Как сообщает кенийское издание The Star, соответствующие сделки анонсировали на прошлой неделе на фоне запуска инициативы Africa Green Industrialisation Initiative (AGII).

Так, власти намерены сотрудничать с городом Конза и компанией KenGen над разработкой цифровых технологий с использованием «зелёной» энергии из геотермальных источников. В частности, будет направлено порядка $1,5 млрд на строительство кампуса ЦОД EcoCloud ёмкостью 200 МВт. Конза отвечает за создание необходимой инфраструктуры, а совместно с KenGen город намерен привлечь новых инвесторов. На это властями выделено $600 млн.

Заодно Кения будет сотрудничать с Индонезией и городом Масдар над строительством геотермальной станции мощностью 300 МВт. Будут использоваться опыт и преимущества обеих стран с последующей передачей технологий, строительством новых мощностей, оптимизацией законодательства и др. Объём изначальных инвестиций составит $1 млрд. Дополнительно Кения зарезервировала $200 млн на займы для проектов в области «чистой» энергетики в других странах.

Источник изображения: Thomas Bennie/unsplash.com

Кроме того, совместно с Globeleq будет разрабатываться геотермальный проект мощностью 35 МВт близ вулканического кратера Мененгаи. Этот проект обойдётся в $110 млн, а на его реализацию выделено два года. Ещё одна сделка на $800 млн предполагает строительство в районе геотермального поля Пака в Кении электростанции мощностью 200 МВт компаниями GDC и AMEA Power. Компании за свой счёт оценят возможности площадки и целесообразность реализации данного проекта.

Дополнительно страна будет сотрудничать с компанией Fortescue над проектом производства «зелёного» аммиака, что повысит уровень её энергетической безопасности и снизит зависимость от импорта, а заодно позволит выпускать удобрения. Fortescue возьмёт на себя обучение и повышение квалификации рабочих. Общая стоимость сделки — $1,5 млрд. Наконец, United Green и Kenya Development Corporation разработают агропроект в районе озера Виктория, который предусматривает обработку 15 тыс. га земли с помощью «умных» технологий и с высоким уровнем поглощения углерода. Он обойдётся в $270 млн.

Google пожинает первые плоды уникального геотермального проекта, реализуемого совместно с компанией Fervo Energy в Неваде. Как сообщается в блоге Google, техногигант стал на шаг ближе к декарбонизации своего бизнеса.

К 2030 году Google планирует добиться нулевого углеродного выброса при энергоснабжении ЦОД и офисных кампусов компании. Два года назад Google заключила со стартапом Fervo соглашение о совместной разработке проекта геотермальной электростанции, предусматривавшего поставку 5 МВт. ИИ-решения Google должна были оптимизировать работу станции.

Заработавшая электростанция поставляет около 3,5 МВт в местные энергосети, в том числе обслуживающие и ЦОД компании. Google и Fervo подписывают соглашения о покупке энергии (PPA) — полученное электричество не обязательно поступает именно в ЦОД Google, но это помогает изменить общий баланс энергии в сетях в пользу безуглеродных источников.

Источник изображения: Google

Как заявляют в Министерстве энергетики США, к 2050 году геотермальные источники смогут выдавать до 120 ГВт или 16 % от общих потребностей страны в электричестве. При этом во многих регионах это оптимальное решение для получения «чистой» энергии, поскольку доступ к другим возобновляемым источникам ограничен — такое, например, характерно для Азиатско-Тихоокеанского региона. При этом геотермальную энергию используют относительно редко, а коммерческое применение соответствующим технологиям можно найти только в местностях где до подземного тепла весьма легко добраться.

В отличие от обычных геотермальных электростанций, Fervo применяет технологии горизонтального бурения скважин, ранее характерные только для нефтегазовой промышленности. Это позволяет добраться до источников тепла, прежде недоступных. Fervo пробурила две скважины и разместила оптоволоконные кабели, позволяющие получать данные о температуре и других характеристиках системы в режиме реального времени. Благодаря новым технологиям геотермальная электростанция занимает меньше места, чем другие проекты такого типа.

Также Google анонсировала сотрудничество с некоммерческой организацией Project InnerSpace, которая намерена ускорить внедрение электростанций такого типа. Участвуют в таких природоохранных инициативах и другие техногиганты. Например, Microsoft ещё в мае заключила соглашение о закупке 51 МВт геотермальной энергии в Новой Зеландии. Есть и примеры прямого использования энергии из таких источников дата-центрами. В Кении начато строительство ЦОД Ecocloud Data Centre на геотермальном поле, электричество будет получать как сам объект, так и другие предприятия.

Мэр Шийенского (Skien) муниципалитета Норвегии опроверг слухи о непомерном энергопотреблении строящегося кампуса ЦОД Google. Как сообщает Datacenter Dynamics, ранее в местных СМИ появились сведения, что компания якобы подала заявку на получение 860 МВт — это около 5 % от энергопотребления всей страны.

Фактически же запрос на 860 МВт был сделан местной сетевой энергокомпанией Statnett исходя из потребностей на протяжении ближайших 20 лет. На долю Google придётся лишь часть выделяемых мощностей. Последняя уже получила 100 МВт и ожидает одобрения выделения ещё 20 МВт на первом этапе строительства. На втором этапе компания рассчитывает получить ещё 120 МВт к 2030 году. Формальный анонс ЦОД состоялся в октябре 2022 года, хотя компания приобрела 200 га ещё в 2019 году.

Источник изображения: Michael Fousert/unsplash.com

По словам местных властей, подготовительные работы на площадке уже ведутся, хотя конкретных сроков завершения строительства никто не называет. Известно, что к строительству привлекли местных консультантов и подрядчиков. Google финансирует основную часть расходов на силовую инфраструктуру, а также занимается вопросами водоснабжения и водоотвода, ливневой канализацией и прокладкой ВОЛС.

В Норвегии аккуратно относятся к распределению доступной электроэнергии. В конце июля оператору Green Mountain разрешили строительство кампуса ЦОД для TikTok, но такое решение вызвало вопросы у норвежских политиков — ставится под сомнение целесообразность выделения электроэнергии для «видео с котами» в условиях её нехватки для других проектов, в том числе оборонного характера.

Оператор ЦОД Equinix повысил энергоэффективность своего дата-центра FR6 во Франкфурте (Германия) на 9 %, оптимизировав распределение энергоресурсов при поддержке ИИ. Как сообщает Datacenter Dynamics, этот результат достигнут с помощью интеллектуальной системы управления охлаждения Etalytics.

ПО Etalytics позволило снизить индекс PUE почти до 1,2 и, как ожидается, даст возможность сократить энергопотребление на 900 МВт·ч ежегодно. В дальнейшем Equinix намерена внедрить аналогичные ИИ-решения почти во всех своих франкфутских ЦОД IBX, включая объекты FR4, FR6, FR8 и FR2.6.

Стартап Etalytics был сформирован в 2020 году одной из исследовательских групп Технического университета Дармштадта. Сотрудничество с Equinix началось тогда же. ИИ-платформа Etalyctics позволяет регулировать работу систем охлаждения, что ведёт к экономии электроэнергии. ПО собирает телеметрию с помощью IIoT-датчиков для формирования «цифрового двойника», который может использоваться для «динамических расчётов» оптимальной стратегии охлаждения в реальном времени. Учитывается температура, влажность и т.д.

Как сообщают в Equinix Germany, речь идёт о многообещающем примере позитивного эффекта цифровизации и влиянии ИИ на рост энергоэффективности. Это, в частности, позволило получить награду Energy Efficiency Award от Германского энергетического агентства (DENA). Впрочем, ПО Etalytics с не меньшим успехом может применяться в химической, фармацевтической и автомобильной промышленности.

Источник изображения: Equinix

Считается, что внедрение подобных технологий станет ещё одним ключевым фактором достижения «климатической нейтральности», особенно на фоне амбициозных целей нового Закона об энергоэффективности Германии. В Equinix сообщили, что обсуждают с немецкими политиками способы достижения ещё большей энергоэффективности и устойчивости для того, чтобы новые нормы не помешали цифровизации страны.

Как сообщает Datacenter Knowledge, в Португалии на фоне коррупционного скандала проводятся расследования, часть которых связана с проектами, касающимися энергетики и дата-центров. Португальская полиция провела рейды по правительственным офисам и задержала несколько чиновников, топ-менеджеров, юристов и ряд других лиц.

Расследования, связанные с разработкой литиевых месторождений и водородными энергетическими проектами ведутся как минимум с 2020 года, но только теперь были приняты радикальные меры. Почти полторы сотни полицейских провели обыски в различных ведомствах, включая Министерство окружающей среды и Министерство инфраструктуры, с выемкой документов и других улик.

Источник изображения: Frank Nürnberger/unsplash.com

По данным Bloomberg, парламентарии, вероятно, ещё успеют одобрить бюджет на 2024 год, который включал ряд спорных проектов. Правоохранительные органы интересуют концессии на разведку лития на севере Португалии, а также проекты, связанные с производством водорода и возведением дата-центров компанией Start Campus. Последняя уже начала строительство необычных ЦОД, которые должны охлаждаться морской водой по технологиям американской компании Nautilus.

В Ирландии намерены реализовать проект, предусматривающий строительство дата-центра, получающего электропитание исключительно от твёрдооксидных топливных ячеек. Как сообщает The Register, речь идёт о соглашении местной компании и подразделения южнокорейского техногиганта SK Group.

SK Ecoplant уже сообщила о подписании меморандума о взаимопонимании с ирландской Lumcloon Energy, работающей над энергетическими проектами к западу от Дублина. Приблизительно в том же районе будет реализован новый проект — в 80 км от ирландской столицы в городке Касллост.

Как сообщают в ирландском Министерстве предпринимательства, торговли и занятости, сделка имеет огромное стратегическое значение для модернизации системы энергоснабжения ЦОД и позволит снизить выбросы углерода в атмосферу. Как первый в Европе ЦОД на топливных элементах объект может послужить «шаблоном» для многих других проектов в будущем.

SK Ecoplant будет поставлять топливные элементы Bloom Energy из США, а также займётся выполнением других функций, взяв на себя в проекте «всеобъемлющую роль». Bloom Energy уже сообщала в августе, что завершила первую фазу проекта по созданию 10-МВт генератора на топливных ячейках для тайваньского производителя печатных плат Unimicron Technology.

Источник изображения: Bloom Energy

Власти Ирландии заявляют, что спрос на энергию со стороны дата-центров создаёт большую нагрузку на местные энергосети и в последние годы на эту тему ведутся нескончаемые политические дебаты. Так, в прошлом году сообщалось, что потребление ЦОД Ирландии превысило потребление электричества всеми домами в сельской местности, а в Дублине уже пытались ввести мораторий на строительство новых ЦОД в пределах города. Сегодня в Ирландии с населением всего чуть более 5 млн человек действует 82 дата-центра, из которых 77 сосредоточены в районе Дублина.

Пока неизвестно, какие масштабы приобретёт новый проект и будет ли он реализован вообще. Топливные ячейки преобразуют химическое топливо и окислитель в электричество, обычно речь идёт о водороде и кислороде соответственно. Тем не менее, сообщалось, что изначально новый ЦОД, возможно, будет работать на природном газе, а водородные технологии будут внедрять позже.

В прошлом году нидерландский оператор ЦОД NorthC уже заявил, что внедрял модули на основе водородных топливных элементах на замену дизель-генераторам. Аналогичную технологию тестировала и Microsoft, а Equinix заявила, что тестировала технологию в качестве основного источника энергии в Сингапуре. Ранее в этом году Amazon заявила, что намерена перевести некоторые из своих ЦОД в Орегоне (США) на топливные элементы, работающие на природном газе — тоже в качестве приоритетного источника электричества.

Немецкий техногигант Siemens AG намерен вложить $510 млн в строительство новых производственных мощностей в США, в том числе на возведение завода для выпуска электрооборудования в Техасе. По данным Bloomberg, инвестиции предназначены для развития сферы ЦОД, а также организации выпуска полупроводников и аккумуляторов. Всего план предусматривает создание 1,7 тыс. рабочих мест.

Из общего бюджета на техасский завод в Форт-Уэрте (Fort Worth) намереваются потратить $150 млн. На предприятии будут выпускать оборудование для электроснабжения промышленных объектов и дата-центов — 700 человек из общего числа «новичков» будут работать именно там. Дополнительно компания инвестирует в два завода по выпуску электротехнической продукции в Техасе и в Калифорнии. Наконец, как сообщает пресс-служба Siemens, ещё $220 млн выделили на создание производства в сфере ж/д в Северной Каролине, строительство этого объекта уже идёт.

Триггером для дополнительных вложений в промышленность США стал бум спроса на инфраструктурные решения, связанные с ИИ-системами, а также принятие в США значимых стимулирующих мер для переманивания туда техногигантов со всего мира. По данным Siemens, основной целью инвестиций является поддержка индустрии ЦОД вообще и площадок для больших языковых моделей (LLM) в частности.

Источник изображения: Siemens

В США производители буквально выстроились в очередь за субсидиями, выделение которых предусмотрено принятым в прошлом году Законом о чипах. Принятый тогда же Закон о снижении инфляции тоже предусматривает субсидирование локализации в США цепочек поставок, связанных с выпуском электромобилей и проектами устойчивой энергетики.

Siemens выделила средства на развитие бизнеса в США в рамках более масштабного плана по расширению высокотехнологичного производства по всему миру, который предусматривает инвестиции в объёме €2 млрд. Так, новый завод будет построен в Сингапуре, а в Китае — модернизирован уже имеющийся. Но больше всего средств компания потратит дома, в Германии — на расширение производства и кампуса в Баварии уйдёт €1 млрд.

Атомный стартап NuScale, занимающийся созданием малых модульных реакторов (SMR), столкнулся с неожиданной проблемой. Как сообщает Datacenter Dynamics, эксперты Iceberg Research выпустили доклад, в котором фактически обвинили разработчиков в заключении контракта на продажу 24 реакторов с «фейковым клиентом» в лице Standard Power.

Хотя в реальности провайдера колокейшн-сервисов Standard Power никто не сомневается, возможность поставки 24 реакторов общей мощностью 1848 МВт для ЦОД в США ставится под вопрос. На фоне доклада, в котором утверждается, что заказ на $37 млрд «имеет нулевые шансы быть выполненным», акции NuScale упали на 10 %. Впрочем, на этой неделе стоимость ценных бумаг несколько выросла после ответа NuScale, которая заявила, что информация Iceberg насквозь спекулятивна и не имеет под собой оснований.

Тем временем в Iceberg утверждают, что Standard Power вряд ли сможет выполнить обязательства — у её руководителя Максима Сережина (Maxim Serezhin) имеется непогашенный налоговый ордер на $54 тыс. в Нью-Йорке, поэтому его активы могут быть арестованы. Кроме того, бывший глава Standard Power Адам Свикл признан виновным в мошенничестве с ценными бумагами ещё в 2003 году.

Источник изображения: NuScale

При этом сделка между двумя компаниями намного крупнее, чем контракт NuScale с окологосударственным проектом Carbon Free Power Project (CFPP), в рамках которого компания должна обеспечить Utah Associated Municipal Power Systems (UAMPS) мощностями на 462 МВт. Сделка крупнее и ещё одного контракта со Standard Power в Шиппингпорте (Пенсильвания).

В Iceberg утверждают, что у NuScale имеются всего около 15 месяцев до того, как у компании закончатся средства. До января 2024 года она должна привлечь 80 % средств, необходимых для реализации проекта с UAMPS, в противном случае NuScale придётся отказаться от него. Кроме того, в Iceberg сомневаются в партнёре NuScale с Entra1. Последняя создана в 2021 году исключительно для организации финансирования NuScale, но имеет в штате лишь одного сотрудника и «не похоже, чтобы смогла обеспечить финансирование даже части этого контракта».

Источник изображения: NuScale

В NuScale отказываются по пунктам опровергать высказывания оппонентов, заявляя, что у компании имеется солидный баланс, а поддержка Министерства энергетики США позволила коммерциализировать технологию. Впрочем, по некоторым данным, если раньше ожидалось, что электроэнергия SMR будет стоить $55/МВт·ч, то теперь он поднялась уже до $90/МВт·ч, что делает прдложение компании менее конкурентоспособным.

Эксперты Iceberg утверждают, что без дальнейшей поддержки властей полноценная реализация проектов вряд ли возможна, а это скажется на акционерах — NuScale вышла на IPO в мае 2022 года. При этом стоит помнить, что Iceberg зарабатывает на понижении курса акций различных бизнесов, проводя различные финансовые исследования и отлавливая нестыковки в отчётах компаний.

Другие юристы уже расследовали деятельность NuScale от имени инвесторов в связи с возможными нарушениями законов о ценных бумагах, а компания Rosen Law Firm даже планирует подать против NuScale коллективный иск. В целом позиции последней довольно неустойчивы. С пика в конце 2022 года её акции упали на 75 %, с $14 до $3,5.

Synergy Research Group прогнозирует, что средняя ёмкость дата-центров гиперскейл-уровня в следующие 6 лет может вырасти почти втрое. Как сообщает пресс-служба компании, хотя критические нагрузки гиперскейлеров давно растут, развитие ИИ-технологий обеспечило отрасли дополнительный импульс и скоро потребуются значительно более производительные ЦОД.

По мере того как растёт средняя нагрузка на отдельные ЦОД, число эксплуатируемых дата-центров тоже будет увеличиваться, а уже существующие объекты подвергнут модернизации. В результате общая ёмкость вырастет приблизительно в 3 раза.

Исследование Synergy основано на оценке площадей ЦОД и деятельности 19 крупнейших компаний, предоставляющих облачные или интернет-сервисы. При этом компании должны соответствовать критериям Synergy, чтобы быть признанными операторами-гиперскейлерами, представляющими SaaS, IaaS или PaaS, поисковые службы, социальные сети, площадки для игр и электронной коммерции.

Источник изображения: Microsoft

По данным на середину 2023 года эти компании управляли 926 ЦОД по всему миру. Известно о планах строительства ещё 427 объектов, на чём и основаны прогнозы компании. Специфика в отдельных регионах может отличаться, но в целом общее количество ЦОД за последние пять лет удвоилось. При этом влияние сферы ИИ заключается в первую очередь не в том, что число дата-центров растёт и будет расти примерно на сто в год, а в росте энергопотребления этих объектов.

Источник изображения: Synergy Research Group

По мере того как число ускорителей в ЦОД гиперскейлеров продолжает расти в связи с развитием ИИ-систем, плотность мощности задействованных стоек тоже должна вырасти, что в перспективе должно привести гиперскейлеров к пересмотру архитектуры ЦОД и планов их ввода в эксплуатацию.