Компания Microsoft стала активно применять прямое жидкостное охлаждение чипов в серверах своих ЦОД. Datacenter Dynamics сообщает, что IT-гигант приступил и к изучению более передовой технологии, основанной на принципах микрогидродинамики.

Как свидетельствует недавний пост в блоге компании, посвящённый использованию воды и применяемым СЖО разных поколений, сейчас разрабатывается новая архитектура дата-центров, оптимизированных для прямого жидкостного охлаждения чипов. Это требует переосмысления конструкции серверов и серверных стоек для внедрения новых методов терморегуляции и управления энергией.

Компания уже использует sidekick-СЖО в действующих ЦОД. Впервые они были представлены во время анонса процессоров Cobalt и ИИ-ускорителей Maya. Последние будут развёрнуты в кастомных стойках и кластерах Ares. Серверы для них шире 19″ и даже OCP-стоек и нуждаются именно в жидкостном охлаждении — других конфигураций не предусмотрено. Каждый сервер получит по четыре ускорителя Maya, а стойка будет вмещать восемь серверов. А рядом с ней будет ещё одна стойка с компонентами охлаждения. Аналогичный дизайн использует Meta✴, которая также была вынуждена пересмотреть архитектуру своих ЦОД из-за ИИ.

Источник изображений: Microsoft

Не менее интересны и разработки в сфере микрогидродинамики. Этот подход предусматривает размещение микроканалов для подачи жидкости буквально внутри самих чипов, что обеспечивает ещё более высокую эффективность охлаждения. В компании утверждают, что все эти разработки оптимизированы для поддержки ИИ-нагрузок в ЦОД и в то же время дружественны к экологии. Благодаря инновациям можно значительно снизить потребление чистой воды, одновременно обеспечивая повышенную ёмкость серверных стоек, благодаря чему возрастает польза от каждого задействованного квадратного метра.

Microsoft намерена стать «водно-положительной» к 2030 году. В ESG-докладе 2023 года компания заявила, что использовала в 2022 году 6,4 млн м³, преимущественно для своих ЦОД. В докладе 2024 года показатель увеличился уже до 7,8 млн м³ в 2023 году. Проблемы с потреблением воды вообще характерны для IT-гиганта и его партнёров.

Запись в блоге Microsoft также свидетельствует о том, что компания расширила использование восстановленной и переработанной воды на площадках в Техасе, Вашингтоне, в Калифорнии и Сингапуре. В Нидерландах, Ирландии и Швеции компания собирает дождевую воду и намерена расширить эту практику на Канаду, Великобританию, Финляндию, Италию, Южную Африку и Австрию. В Нидерландах, правда, всё оказалось не так хорошо, как обещала компания. Как заявляют Microsoft, с первого поколения собственных дата-центров в начале 2000-х годов до текущего поколения в 2020-х, использование воды на кВт·ч снизилось более чем на 80 %.

Ранее компания сотрудничала с разработчиком систем двухфазного погружного жидкостного охлаждения LiquidStack, который поддерживается одним из поставщиков Microsoft — Wiwynn. В прошлом году LiquidStack представила однофазную систему иммерсионного охлаждения для ИИ-систем, а также запустила в США производство СЖО, но для кого именно она их выпускает, не уточняется.

Google заключила довольно необычное 10-летнее соглашение о покупке возобновляемой энергии (PPA) для своих дата-центров в Сингапуре. По данным Datacenter Dynamics, это первый в своём роде вариант PPA, который предусматривает получение возобновляемой энергии из деревянных отходов. Подобная «чистая» энергия будет обеспечивать экобезопасные операции Google в Сингапуре и, в конечном счёте, содействовать достижению компанией нулевого углеродного выброса к 2030 году.

Google заключила контракт с энергокомпанией PacificLight Energy (PLE), которая будет поставлять возобновляемую энергию от электростанции Rexus Bioenergy (Rexus). Сама Rexus утверждает, что её электростанция класса WWtE («отходы древесины в энергию») мощностью 13,2 МВт будет первой в своём роде в Сингапуре.

Источник изображения: Ambitious Studio* | Rick Barrett/unsplash.com

Для питания будут использоваться не подлежащие традиционное переработке древесные остатки. Это и отходы сельского хозяйства, и отходы логистических компаний вроде грузовых поддонов. Этот мусор будет не только сжигаться, но и использоваться для получения биомассы, которая, вероятно, тоже будет источником энергии. Также установка будет связана с системой захвата углеродных выбросов (CO₂). Начало коммерческого использования электростанции запланировано на 2026 год.

Google управляет в Сингапуре тремя ЦОД и недавно выделила ещё $5 млрд на развитие инфраструктуры в стране. С 2019 года в Сингапуре действует мораторий на строительство новых дата-центров — не хватает как энергии, так и места для размещения ЦОД. Впрочем, ранее в этом году было решено «разблокировать» ещё 300 МВт. В PacificLight намерены развивать зелёную биоэнергетику и со временем стать «низкоуглеродной» компанией, что соответствует целям города-государства.

Компания Nano Nuclear Energy Inc. подписала меморандум о взаимопонимании с криптомайнингвой Blockfusion Ventures — дочерней структурой Blockfusion USA, Inc. — документ предусматривает использование атомной энергии для питания ЦОД, передаёт Datacenter Dynamics.

Nano Nuclear изучит возможность интеграции своих микрореакторов в ЦОД Blockfusion, который размещается на месте закрытой и реконструированной угольной электростанции. ЦОД для криптомайнинга запитан от ГЭС, связанной с Ниагарским водопадом. Его ёмкость может составлять до 50 МВт. Впрочем, текущее состояние ЦОД под вопросом. В 2022 году на объекте взорвался трансформатор и случился пожар. Предполагается, что причиной стало неисправное оборудование энергоснабжающей организации. Вскоре после ремонта компания на время вынужденно остановила работу объекта по приказу местных властей.

Источник изображения: Nano Nuclear Energy

Основанная в 2021 году компания Nano разрабатывает портативные атомные микрореакторы. Модель Zeus, создаваемая для размещения в 45″ контейнере, оснащена модулем, который позволяет вырабатывать 1–2 МВт и не требует жидкого охладителя. Дополнительно разрабатывается реактор Odin с охлаждающей жидкостью низкого давления. В Nano рассказывают, что давно присматривались к ЦОД, занятыми ИИ, квантовыми вычислениями и майнингом. Впрочем, аналитики Hunterbrook Capital сомневаются в жизнеспособности Nano Nuclear, говоря, что у компании нет доходов и продукции, а руководители работают на полставки.

Малые модульные реакторы (SMR) часто рассматриваются в качестве оптимальных источников энергии с низким углеродным выбросом для дата-центров, они могли бы обеспечить объектам автономную работу и независимость от локальных энергосетей. В прошлом году блокчейн-компания Standard Power объявила о намерении приобрести 24 SMR у NuScale для двух ЦОД в США. А Equinix и Wyoming Hyperscale подписали соглашения о поставках SMR с компанией Oklo.

Индонезийская Star Energy Geothermal, входящая в холдинг Barito Renewables и занимающаяся геотермальной энергетикой, ведёт переговоры с операторами дата-центров о поставках «чистой» энергии при условии, что они будут строить объекты рядом с её ГеоТЭС, передаёт Datacenter Knowledge. Индонезия, по данным Азиатского банка развития, имеет, возможно, крупнейший в мире потенциал в области геотермальной энергетики — на неё приходится 2,1 ГВт или 13 % мировых мощностей такого типа.

Star Energy Geothermal намерена уйти от продажи электричества только государственным коммунальным компаниям и привлечь клиентов, желающих покупать в Индонезии возобновляемую энергию. Также рассматриваются поставки «зелёной» энергии в соседние страны. Компания рассчитывает, что быстрый рост ИИ-сектора, требующего всё больше энергии (предпочтительно «чистой»), привлечёт операторов ЦОД. При этом геотермальные источники являются стабильным поставщиком энергии в местностях, где погода слишком переменчива для регулярной солнечной и ветряной энергетики.

Источник изображения: Joey Clover/unsplash.com

Обычно геотермальные электростанции строятся возле вулканов, гейзеров и иных мест, где природное тепло подходит близко к поверхности Земли. По оценкам Азиатского банка развития, Индонезия, фактически окружённая т.н. «Тихоокеанским огненным кольцом», имеет сильнейший в мире потенциал развития геотермальной энергетики. Однако операторы ЦОД могут и не захотеть строить свои объекты вблизи подобных источников, расположенных зачастую в отдалённых местах.

По данным СМИ, хотя на возобновляемые источники приходится лишь малая часть глобальной энергетики, в индустрии снова наблюдается рост интереса со стороны инвесторов. Так, вложения в геотермальные электростанции в 2023 году достигли $8 млрд, что намного больше, чем в предыдущие годы. Немало внимания уделяется геотермальной энергетике и в других странах. Например, Кения готова вложить $4,5 млрд в развитие этой и других технологий, а в мае Microsoft и G42 заявили о намерении построить ЦОД за $1 млрд рядом с геотермальными источниками.

Оператор ЦОД Aruba IT приобрёл и заново запустил микро-ГЭС мощностью 800 кВт неподалёку от Милана — в Меленьяно. Datacenter Dynamics сообщает, что дамба и собственно ГЭС были построены ещё в начале 1900-х годов и были выведены из эксплуатации десятилетия назад прежним владельцем.

В Aruba заявили, что аккуратные реставрационные работы в здании позволили восстановить все электрические, механические и гидравлические системы микро-ГЭС. Она находится в том же районе, где компании принадлежит ещё одна электростанция, купленная в 2020 году. В апреле 2023 года компания приобрела две гидроэлектростанции общей ёмкостью 2 МВт. В конце 2020 года она приобрела 4 микро-ГЭС на 6 МВт, на тот момент она уже управляла одним объектом такого рода. Теперь Aruba управляет восемью малыми ГЭС на разных итальянских реках с установленной мощностью около 10 МВт.

Источник изображения: Montse Monmo/unsplash.com

Кампус Aruba Bergamo, расположенный близ Милана, включает три здания ЦОД. Первое здание площадью 17 600 м² обеспечивает 8000 м² колокейшн-площадей в 10 помещениях и имеет ёмкость 12 МВт. Здания B и C на 9 и 8 МВт соответственно обеспечивают 4950 м² и 5950 м² колокейшн-площадей. Помимо солнечных и гидроэлектрических источников питания, инфраструктура кампуса использует и геотермальные системы. Всего на территории кампуса есть возможности обпеспечения 60 МВт для пяти зданий площадью 200 000 м². Aruba также управляет двумя объектами в Ареццо, ещё один строится в Риме, и один расположен в Чехии.

Олимпиада-2024 в Париже привлекла внимание не только зрелищными выступлениями спорстменов, но и некоторыми удачными технологическими разработками. Datacenter Knowledge сообщает, что значительную роль в этом сыграло решение, позволяющее нагревать бассейны за счёт «мусорного» тепла ЦОД.

Во время любой летней Олимпиады требуются большие энергетические ресурсы для обслуживания бассейнов. На текущей Олимпиаде в Париже главным таким объектом является Paris Olympic Aquatic Centre в Сен-Дени, который уже использует разнообразные экобезопасные решения. Тепло для подогрева воды в бассейнах поступает из открытого в 2023 году парижского ЦОД Equinix PA10. Это уже десятый дата-центр, построенный компанией во французской столице за последние 20 лет.

Источник изображения: Taiki Ishikawa/unsplash.com

Питание PA10 на 100 % компенсируется возобновляемой энергией, а сам он предлагает 5 тыс. м² места для колокейшн-клиентов (2250 серверных шкафов). ЦОД изначально задумывался и строился с прицелом на использование тепла его оборудования. В компании объявили, что бесплатно в течение 15 лет будут поставлять тепло зоне городского развития Plaine Saulnier, а также Olympic Aquatic Centre, где проходят многие олимпийские мероприятия в 2024 году. После окончания Олимпиады объект будет доступен для посещения всеми желающими. Помимо передачи тепла и «восстановления» воды, новый дата-центр имеет на крыше теплицу и улей.

PA10 будет генерировать 10 тыс. МВт∙ч тепла ежегодно, чего достаточно для обогрева более 1 тыс. домохозяйств. Контур внутренней системы охлаждения ЦОД имеет температуру 28 °C круглый год, но перед отдачей тепла наружу тепловые насосы повышают её до 65 °C. Горячая вода через теплообменник отдаётся местному оператору тепловых сетей. Если тепло никуда не передаётся, оно просто выбрасывается в атмосферу, — подчёркивают в компании. PA10 — один из нескольких проектов теплоотдачи, реализуемых Equinix.

Сейчас контракты на поставку тепла заключили три площадки, а первый такой проект был реализован в 2010 году в Хельсинки при сотрудничестве с поставщиком энергии Helen. Ещё один объект расположен в Торонто (Канада), где Equinix поставляет тепло из дата-центра TR5 IBX районной энергетической сети Markham District Energy для обогрева жилых объектов, отелей, больницы и торгового центра. Кроме того, многим местным зданиям поставляется и горячая вода. В компании заявляют, что все её новые ЦОД изначально рассчитаны на экспорт тепла — на пути к «экономике замкнутого цикла».

В целом тепло ЦОД пытаются применять по всему миру, в том числе в бассейнах и других водных объектах — от ближайшей Великобритании до, например, США. В прошлом месяце дело дошло даже до аквапарков — компания Aventuur получила разрешение на реализацию в Новой Зеландии проекта, обеспечивающего круглогодичный доступ к подогретым ближайшим ЦОД волнам.

Amazon Web Services (AWS) планирует подписать PPA-соглашение о покупке 20 МВт «зелёной» энергии с производителем топливных элементов Bloom Energy. По информации Datacenter Dynamics, сделка заключена с прицелом на открытие нового дата-центра в Кремниевой долине, где ожидается бум строительства ЦОД.

Местная энергетическая компания Silicon Valley Power (SVP) разрешила строительство собственных генерирующих мощностей в Санта-Кларе для удовлетворения растущего спроса со стороны ЦОД. AWS рассчитывает использовать для генерации газ, так что для дата-центра 2315 MCB уже готовится подстанция — объект на четыре трансформатора с номинальной мощностью 99 МВА. Два трансформатора строятся уже сейчас. В документах городских властей сообщается, что ЦОД обычно используют 55 % номинальной мощности. Предполагается, что электричество будет на 50 % дороже в сравнении с текущими тарифами SVP для промышленных предприятий.

Изначально в своём ЦОД AWS намерена освоить 9 МВА, но в течение 10 лет (к 2034 году) мощность должна вырасти до 32 МВА. PPA, заключённые с Bloom Energy, обеспечат дополнительную энергию. Ожидается, что Amazon покроет все расходы, включая оплату работы сотрудников SVP, обслуживание оборудования, закупки газа и прочие издержки. В первый год проект обойдётся в $35 млн, включая взнос в 5 % в городской фонд. Кроме того, включена стоимость REC-кредитов на возобновляемую энергию для «компенсации» использования природного газа.

Источник изображения: Paul Hanaoka/unsplash.com

В ходе собрания, посвящённого проекту, представитель городских властей сообщил, что как минимум четыре дополнительных клиента намерены заключить аналогичные сделки. Ранее AWS заявляла, что будет использовать топливные элементы Bloom Energy в Орегоне на 72 МВт с питанием от природного газа, но в июне от планов пришлось отказаться, из-за местной критики относительно высоких углеродных выбросов.

По данным Управления энергетической информации США (US Energy Information Administration, EIA), при генерации электричества с использованием угля выделяется 1 кг CO₂ на кВт∙ч, нефти — 1,1 кг, а природного газа — 430 г. А вот при использовании солнечных элементов выделяется 48 г/кВт∙ч, энергии ветра — 12 г/кВт∙ч, атомной энергии — 12 г/кВт∙ч.

Ранее в этом месяце инициативная группа сотрудников AWS (AECJ) заявила, что компания искажает сведения о степени экобезопасности её ЦОД, раскритиковав использование REC-сертификатов на возобновляемую энергию. Исследование AECJ показало, что это «низкокачественные» сертификаты, которые никак не способствуют развитию зелёной энергетики — фактически речь идёт о торговле бумажными заявками на электричество, «которое другие люди уже сгенерировали и использовали».

Криптомайнинговая компания Hive Digital Technologies построит дата-центр для добычи криптовалют в Парагвае. Как сообщает Datacenter Dynamics, канадская компания претендует на звание оператора «зелёных» ЦОД — новый экобезопасный проект получит 100 МВт чистой энергии.

По словам представителя Hive (ранее Hive Blockchain), «зелёная» энергия будет поступать от гидроэлектростанции Itaipu. Возможность такого подключения обеспечит бизнесу дополнительные 6,5 экзахэшей в секунду (Эх/с) при майнинге биткоинов, в итоге общий показатель для Hive сможет вырасти до 12,1 Эх/с.

Гидроэлектростанция Itaipu Dam на реке Парана расположена на границе Парагвая и Бразилии. Запущенная в 1984 год, она считается третьей по величине ГЭС в мире, с возможностью генерации до 14 ГВт.

Источник изображения: Michael Förtsch/unsplash.com

В Hive заявляют, что проект позволит государственной энергоснабжающей компании получить $100 млн выручки в следующие три года. Сама компания готова поделиться опытом организации баланса и реакции на спрос в сети для поддержки промышленного развития в Парагвае. В то же время она рассчитывает «монетизировать излишки» или «недостаточно монетизированные» энергетические активы.

Стратегия компании предполагает диверсификацию источников роста. Hive расширяет присутствие в Канаде, Швеции, Исландии и, теперь, Парагвае — заодно стимулируя экономический рост в регионах. В Канаде компания управляет 30-МВт ЦОД в Квебеке и 70-МВт объектом в Нью-Брансуике. В Квебеке, по слухам, тепло ЦОД используется для обогрева предприятия, выпускающего плавательные бассейны.

Также Hive управляет 32-МВт объектом в Швеции и скоро этот ЦОД поможет обогревать тепличное хозяйство площадью более 8 тыс. м², где выращиваются огурцы и помидоры. Также криптокомпания управляет ЦОД ёмкостью более 10 МВт в Исландии, ранее она планировала запустить проект в Норвегии, но в 2021 году отказалась от этой идеи.

Компания основана в 2017 году и управляет около 38 тыс. ускорителей NVIDIA, а также тысячами ASIC-модулей для майнинга биткоинов. По последним данным, HPC-мощности Hive обеспечивали ей $3,4 млн выручки за финансовый год, криптооперации приносили $111 млн. В этом году Hive, как и многие конкуренты, намерена запустить собственный облачный сервис Hive Cloud.

HPE выбрала компанию QScale в качестве партнёра для размещения своего ИИ-облака в Северной Америке. Инфраструктура, поддерживающая обучение, оптимизацию и развёртывание масштабных ИИ-моделей, базируется в дата-центре QScale Q01 в Квебеке (Канада).

Фирма QScale основана в 2018 году Винсентом Тибо (Vincent Thibault), Дэни Перроном (Dany Perron) и Мартином Бушаром (Martin Bouchard) с целью предоставления ресурсов для задач ИИ и НРС. В прошлом году компания привлекла инвестиции от американского оператора Aligned Data Centers.

Создание площадки QScale Q01 началось в 2021 году. Комплекс соответствует уровню Tier III. Для питания на 100 % используется энергия из возобновляемых источников. Заявленный коэффициент PUE составляет менее 1,2. Доступны полностью кастомизируемые системы воздушного и жидкостного охлаждения. Во втором случае мощность может превышать 300 кВт на стойку. Кроме того, задействовано естественное охлаждение, поддерживаемое холодным климатом Квебека.

Источник изображения: QScale

HPE является якорным арендатором дата-центра QScale Q01 с 2023 года. Ожидается, что после завершения строительства суммарная мощность этого кампуса составит 142 МВт. Отмечается, что современная инфраструктура QScale позволила HPE минимизировать воздействие своего ИИ-облака на окружающую среду. Энергопотребление удалось снизить приблизительно на 20 % по сравнению с традиционными ЦОД.

«Технический опыт QScale и приверженность устойчивому развитию позволили нам в сжатые сроки ввести облачную ИИ-платформу в эксплуатацию», — отметил Майк Вангсмо (Mike Wangsmo), директор направления облачных дата-центров HPE.

Гиперскейлеры вместе с Digital Realty и Schneider Electric подписали открытое письмо к своим поставщикам, прося их детальнее отчитываться о выбросах. Datacenter Dynamics сообщает, что таким образом участники рынка могут эффективнее снизить углеродные выбросы.

Amazon (AWS), Google, Meta✴ и Microsoft входят в руководство коалиции iMasons Climate Accord и подчёркивают важность отчётности в форме т.н. Environmental Product Declarations (EPD).

Источник изображения: Weichao Deng/unsplash.com

EPD представляют собой стандартизированные документы, фактически «экологические паспорта» продуктов, в которых независимой организацией оценивается, за какой объём выбросов отвечает продукт за весь свой жизненный цикл. В том числе учитывается, сколько парниковых газов выделяется на этапах добычи сырья, производства, транспортировки, использования продукта и утилизации.

Компании утверждают, что выбросы класса Scope 3, непосредственно не связанные с их деятельностью, могут составлять 38–69 % от всех выбросов, за которые ответственны ЦОД. По словам представителя iMasons Climate Accord, EPD критически важны для трансформации цифровой инфраструктуры, чтобы в будущем она стала более надёжной и климатически безопасной.

Утверждается, что повсеместное принятие EPD-отчётности мировой цепочкой поставщиков способствует достижению устойчивых и подотчётных результатов. Стандартизированные и проверенные сведения обеспечат прозрачность — в рамках инициативы поддерживается коллективный подход к сокращению углеродных выбросов и уменьшению влияния на окружающую среду в целом.

В AWS добавляют, что компания намерена добиться нулевых углеродных выбросов в своих операциях к 2040 году, инвестируя в безуглеродную энергетику, масштабируя решения, а также сотрудничая с партнёрами для расширения влияния в этой плоскости. В AWS поддерживают призыв iMasons к поставщикам использовать EPD-декларации. Это должно обеспечить большую прозрачность выбросов Scope 3, «привязанных» к оборудованию. Также это поможет IT-индустрии снизить углеродные выбросы в целом.