Согласно новому исследованию Omdia, рынок систем охлаждения для ЦОД уже достиг $7,67 млрд — результаты превзошли предыдущие прогнозы экспертов. Среднегодовой темп прироста ожидается на уровне 18,4 % до 2028 года. Основным драйвером стало развитие ИИ-платформ и рост инфраструктуры с высокой энергетической плотностью. Ожидается, что объём рынка достигнет $16,87 млрд к 2028 году, а доля СЖО вырастет до 33 %.

Поскольку энергоёмкие ИИ-системы получили повсеместное распространение, спрос на жидкостное охлаждение серьёзно вырос. В числе главных трендов — быстрое распространение теплообменников задних дверей (RDHx) в комбинации с однофазным прямым жидкостным охлаждением чипов. Рост в этом сегменте составил впечатляющие 65 % год к году. Нередко в таких системах применяются технологии передачи тепла в системы отопления зданий или подогрева различных объектов и вроде бассейнов. Комбинация воздушного и жидкостного охлаждения позволяет создавать эффективные и сбалансированные системы терморегулирования.

Как заявляют в Omdia, в 2023 году произошла консолидация рынка, в результате основные прибыли получают считанные компании. Впрочем, Omdia расширила свой обзор, который теперь включает 49 вендоров вместо 40. Аналитики добавили китайских OEM-производителей и поставщиков компонентов прямого жидкостного охлаждения. Лидерами рынка остались Vertiv, Johnson Controls и Stulz, причём Veritiv увеличила долю на 6 % благодаря устойчивому росту спроса в Северной Америке и партнёрству с облачными операторами.

Источник изображения: Omdia

Рост рынка систем охлаждения для ЦОД ранее ограничивался преимущественно недостатком производственных мощностей, в частности, нехваткой компонентов вроде блоков распределения охлаждения (CDU), на спрос производители давно не жалуются. Поставщики всеми силами стремились удовлетворить спрос, но взрывной рост потребностей операторов ЦОД всё равно создал дефицит на определённых участках цепочек поставок. К счастью, в 2024 году прогнозируется улучшение ситуации.

Источник изображения: Omdia

Также Omdia отмечает рост доли систем жидкостного охлаждения. Этот рынок активно развивается в Северной Америке и Китае, в дело вступают всё новые вендоры, а прежние участники рейтингов расширяют свою деятельность. На рынке СЖО, объём которого близок к $1 млрд, лидером остаётся CoolIT, предлагающее прямое жидкостное охлаждение. Второе место занимает Sugon, преимущественно занимающаяся системами иммерсионного охлаждения, а замыкает тройку Lenovo, комплектующая некоторые свои системы фирменной СЖО.

Системы терморегулирования неизбежно развиваются под влиянием ИИ-решений и из-за росту требований к экоустойчивости серверного оборудования и ЦОД в целом. Несмотря на прогнозы роста, будет наблюдаться нехватка СЖО и недостаток экобезопасных технологий. Ожидается, что в будущем внедрение оптимизированных с помощью ИИ систем охлаждения, договоры о стратегическом партнёрстве между вендорами, а также рост энергоэффективных и экоустойчивых решений определят развитие индустрии. В результате технологии охлаждения будут соответствовать потребностям в охране окружающей среды.

В Таиланде готовится реализация пилотного проекта, который позволит дата-центрам напрямую приобретать возобновляемую энергию. Bloomberg сообщает, что новая схема упростит техногигантам, присутствующим в стране, достижение амбициозных экологических целей. По словам таиландского премьер-министра страны Сеттхи Тхависина (Srettha Thavisin), доступность «чистого» электричества стала важным конкурентным преимуществом, а прямые соглашения о его покупке привлекут в страну новых операторов.

Отсутствие единого подхода к прямым закупка «зелёной» энергии в Юго-Восточной Азии представляет проблему для энергоёмких отраслей, особенно для тех, которые взяли на себя обязательства по «декарбонизации» бизнеса. По словам властей Таиланда, компании вроде операторов ЦОД, готовые участвовать в тайском пилотном проекте, должны обеспечить значительные объёмы инвестиций и стандартизировать операции во всех странах, куда направляются инвестиции. При этом им запрещено продавать излишки энергии в локальные энергосистемы.

Источник изображения: Miltiadis Fragkidis/unsplash.com

Пилотный проект пока ограничен лишь 2 ГВт. Местное Министерство энергетики и связанные с ним агентства получили задание изучить влияние прямых покупок энергии на принадлежащих государству производителей электричества, промышленных потребителей и обычных людей.

Операторы ЦОД из числа гиперскейлеров уже выстраиваются в очередь для освоения местных территорий. Ещё в конце прошлого года AWS, Google и Microsoft объявили о намерении инвестировать в таиландские ЦОД $8,5 млрд. Впрочем, принимают участие и более мелкие компании — недавно местные власти одобрили инвестиции в строительство ЦОД в объёме $291 млн.

По мере роста энергопотребления ЦОД развиваются и решения, способные компенсировать ущерб окружающей среде. Network World сообщает, что компании Hewlett Packard Enterprise (HPE) и датская Danfoss запустили серию усовершенствованных модульных дата-центров, позволяющих использовать тепло, генерируемое в процессе их работы, в любых целях. За основу была взята система утилизации «мусорного» тепла, применяемая в штаб-квартире Danfoss в Дании.

По данным Международного энергетического агентства (IEA), к 2026 году ИИ-индустрия будет потреблять на порядок больше электроэнергии, чем в 2023 году. Дата-центры всегда вырабатывали много тепла, причём по мере роста вычислительных мощностей растёт и отдача тепловой энергии. Поэтому HPE и датская инжиниринговая компания Danfoss создали готовое решение в рамках HPE IT Sustainability Services — модульную систему Data Center Heat Recovery.

Решение включает модульный дата-центр HPE (Modular Data Center) — компактный контейнер с высокой плотностью размещения оборудования с прямым жидкостным охлаждением, который, как заявляют в HPE, может быть развёрнут практически везде и позволит снизить общее потребление энергии на 20 %. Danfoss же предоставила модули отбора тепла для его передачи ближайшим зданиям и промышленным объектам. Безмасляные компрессоры Turbocor повышают эффективность систем охлаждения ЦОД при оптимистичном сценарии на целых 30 %.

Источник изображения: Danfoss

Выгода для пользователей очевидна, говорят компании, поскольку захваченное тепло позволяет не генерировать его специально. В HPE даже предложили измерять сэкономленное тепло в «негаваттах», т.к. затраты на его генерацию в данном случае отрицательны. С учётом огромных объёмов потребляемого ЦОД электричества, экономия 30 % энергии может стать существенной.

Впрочем, технология имеет определённые ограничения и пригодится не всем. Если обогревать окружающие здания нет необходимости, то никакой экономии энергии и не будет. Подобные технологии уже активно применяют как в Северной Америке, так и в Европе и других регионах. Особенно эффективны они в странах с прохладным климатом. Впрочем, такие системы пока довольно дороги, а иногда и вовсе не имеют смысла по целому ряду причин, в том числе экономических.

Seagate объявила об открытии собственного раздела на eBay, где будет продавать бывшие в употреблении жёсткие диски. Делается это, по словам компании, во благо экологии и экономии. Накопители перед продажей проверяются, ремонтируются и очищаются.

Как говорит Seagate, ежегодно десятки миллионов жёстких дисков после списания попросту перемалываются или разрушаются иными методами. Это самый надёжный метод полного уничтожения информации, поскольку утечка данных может грозить большими неприятностями и крупными финансовыми потерями. Однако такой подход экологичным назвать нельзя. В частности, извлечь редкоземельные металлы из таких электронных отходов невозможно.

Источник изображений: Seagate

Поэтому Seagate уже некоторое время занимается восстановлением б/у HDD и SSD. Так, в 2022 финансовом году компания починила 1,16 млн накопителей, избавив планету от 540 т электронных отходов (средний вес накопителя принят за 465 г). А в 2023 году эти показатели выросли до 1,19 млн и 553 т соответственно. Теперь восстановленные накопители можно купить напрямую у Seagate на eBay. Такие диски покрываются ограниченной гарантией.

По словам компании, очистка накопителей производится в соответствии со стандартами IEEE 2883, NIST SP 800-88 Rev. 1 и ISO/IEC 27040:2015, так что исходным владельцам дисков беспокоиться не о чем. Кто конкретно возвращает б/у накопители Seagate, прямо не говорится, но компания вместе с Micron, Western Digital и Chia является сооснователем инициативы Circular Drive Initiative (CDI), призванной объединить производителей СХД, гиперскейлеров, ЦОД, OEM-производителей и компании, занимающиеся утилизацией IT-оборудования. Именно последние обычно отвечают за вывоз ставшего ненужным оборудования у крупных заказчиков.

Кроме того, CDI занимается продвижением новых стандартов OCP для устройств хранения, которые включают функции безопасной очистки, расширенного мониторинга и управления жизненным циклом накопителей. Впрочем, гиперскейлеры сами в последние годы увеличивают срок эксплуатации оборудования и создают центры по его восстановлению и переработке.

Крупные технокомпании вроде Microsoft и Google горят желанием использовать всё больше энергии от атомных электростанций для питания своих ЦОД, но намного меньше у них желания вкладывать средства в строительство новых АЭС. По данным Bloomberg, об этом они официально заявили на конференции Nuclear Society. По информации издания, ИИ и ЦОД, вероятно, впервые обеспечат существенный рост энергопотребления в США.

Но участники конференции объявили, что находятся в «неподходящем положении» для того, чтобы помогать в разработке АЭС. Дело в том, что строительство реакторов, особенно на базе новых технологий, по мнению Google, весьма рискованно. Техногиганты готовы платить «разумную надбавку» за уже доступную им чистую энергию, но не хотят инвестировать в компании, непосредственное занятые строительством АЭС. В Google подчеркнули, что всецело поддерживают атомную энергетику, но считают, что брать риски на себя должны не конечные потребители.

Дискуссия развернулась после того, как Билл Гейтс (Bill Gates) заявил, что намерен вложить миллиарды долларов в создание АЭС на базе малого модульного реактора (SMR) в Вайоминге, строительство которой уже начато компанией TerraPower. Поддержка Гейтса станет ключевой на фоне рисков, связанных с атомной энергетикой. Строительство планируется завершить в 2030 году, с отставанием на два года от озвученного в 2021 году срока. В Вайоминге же планируется установка SMR от компании Oklo, поддерживаемой главой OpenAI.

Источник изображения: Dan Meyers/unsplash.com

В апреле в Джорджии компания Southern Co. впервые за десятилетия завершила строительство новой АЭС в США, на семь лет позже запланированного и с увеличением бюджета приблизительно на 150 %. Возможно, именно поэтому IT-компании заявляют, что должны сконцентрироваться на своих сильных сторонах, строя дата-центры, тогда как поставками энергии должны заниматься коммунальные службы. Об этом, в частности, объявил главный менеджер по энергетике и устойчивости Microsoft Адриан Андерсон (Adrian Anderson).

По его словам, если дата-центр нуждается в чистой энергии, оператор должен связаться с поставщиком электричества, а вовсе не с производителем ветряных турбин, а сами высказывания о том, что отдельные покупатели должны самостоятельно оценивать риски инвестиций в атомные технологии он назвал «смехотворной концепцией». При этом сама Microsoft набирает команду и топ-менеджеров для развития направления SMR.

Сегодня новые реакторы разрабатываются многими компаниями, но им понадобится значительная финансовая помощь для того, чтобы перейти к строительству и коммерциализации новых объектов. Несмотря на то, что в появлении большего числа АЭС заинтересованы как энергокомпании, так и операторы ЦОД, техногиганты не спешат в массовом порядке заниматься финансированием таких проектов. По словам недавно покинувшего пост директора по энергетической стратегии Meta✴ Питера Фрида (Peter Freed), сама идея того, что IT-компании спасут положение и просто «выпишут чек» ошибочна.

Компания Google подписала соглашение с NV Energy, предполагающее использование геотермальной энергии для питания своих дата-центров в Неваде. The Register отмечает, что новый договор намного прогрессивнее, чем популярные соглашения о покупке возобновляемой энергии (PPA).

В Google описывают соглашение как «партнёрство в сфере чистой энергии» с NV Energy, дочерней структурой Berkshire Hathaway Energy. Предполагается, что такой договор удовлетворит растущий спрос компании на действительно «чистую» энергию. В прошлом году Google уже сотрудничала со стартапом Fervo Energy, но на тот момент речь шла лишь о 3,5 МВт и доказательстве самой возможности использовать энергею геотермальных источников в коммерческих масштабах.

Теперь проект расширили до 115 МВт, Fervo будет поставлять электричество в местную энергосеть при посредничестве NV Energy, хотя соглашение ещё ждёт одобрения регуляторами штата. В Google его называют «переходным тарифом» (Clean Transition Tariff, CTT) и отмечают, что соглашение является результатом работы над созданием нового, масштабируемого проекта для коммунального хозяйства и крупных потребителей электричества по инвестированию в действительно «чистую» энергию, а не PPA.

Источник изображения: Mark Kuiper/https://unsplash.com

Хотя пионером в деле покупки PPA была сама Google, теперь заявляется, что такие соглашения имеют свои ограничения. Они заключаются в изоляции от более масштабных процессов строительства сетей и в отрыве от инвестиций в коммунальные проекты. Кроме того, переменчивость погоды может ограничить доступность солнечной и ветряной энергии, для которых и чаще всего и заключаются PPA, а для полной декарбонизации требуются другие технологии, обеспечивающие стабильные поставки энергии именно тогда, когда это необходимо.

В Google рассчитывают, что CTT поможет компании добиться цели по полному обеспечению ЦОД и офисных кампусов безуглеродной энергией к 2030 году. В NV Energy подчеркнули, что проект не будет оплачиваться другими клиентами, но выиграют от него все потребители Невады.

Южноафриканское правительство рекомендует операторам дата-центров минимизировать зависимость от централизованных электросетей и заняться «самообеспечением» энергией. По данным Datacenter Dynamics, местное Министерство связи и цифровых технологий опубликовало основные принципы новой политики в докладе National Data and Cloud Policy. Там же, например, рекомендуется перенести правительственные сервисы в облако.

Как подчёркивается в документе, проблема в том, что у Южной Африки имеются проблемы со снабжением электричеством. С учётом того, что дата-центры работают 24 часа в сутки, для них полагаться исключительно на местные магистральные сети электроснабжения будет не слишком эффективно. Таким образом, владельцам и операторам ЦОД стоит озаботиться альтернативными источниками энергии для предотвращения сбоев в работе. Власти добавляют, что приоритет должен отдаваться самообеспечению дата-центров не только электричеством, но и водой.

Источник изображения: George Brits/unsplash.com

При этом отмечается, что южноафриканская энергосеть чрезвычайно ненадёжна и отдельные части страны регулярно буквально погружаются во мрак. При этом, несмотря на проблемы с энергетической ёмкостью в этой части континента, соглашения о покупке «зелёной» энергии PPA-типа заключаются довольно редко.

Сегодня принадлежащая Digital Realty компания Teraco разрабатывает в стране собственную солнечную электростанцию, а Vodacom подписал энергетическую сделку с местной компанией Eskom. Africa Data Centres строит солнечную электростанцию в Блумфонтейне с Distributed Power Africa. Впрочем, телеком-операторы вроде MTN давно вкладывают средства в энергохранилища и генераторы для поддержания работоспособности своих объектов даже в случаях, когда отключения электричества носят системный и продолжительный характер.

Американские гиперскейлеры призывают ирландское правительство позволить строить собственные частные линии электропередач. Datacenter Dynamics сообщает, что такие энергетические магистрали свяжут дата-центры с объектами возобновляемой энергетики. Благодаря этому можно будет вновь строить дата-центры близ ирландской столицы.

Фактически в районе «Большого Дублина» действует мораторий на строительство новых кампусов ЦОД. Государственный оператор энергосетей EirGrid заявил, что пока не будет принимать заявки на подключение новых объектов соответствующего типа до 2028 года. В Ирландии, как и в Нидерландах, больше не рады гиперскейлерам.

Но если верить последним сведения, Google, Amazon и Microsoft намерены добиться от властей разрешения напрямую связать свои дата-центры с солнечными и ветряными электростанциями. Компании уверены, что это снизит нагрузку на уже существующие линии в Дублине. Пока же строить линии электропередач в Ирландии имеет право лишь государственная структура Electricity Supply Board (ESB), но гиперскейлеры уверены, что у них получится сделать то же самое дешевле и быстрее.

Источник изображения: Gabriel Ramos/unsplash.com

После начала публичных слушаний в прошлом году ирландское правительство пообещало обнародовать политику относительно частных ЛЭП ещё в I квартале 2024 года, но так и не сделало этого. Пока действует мораторий, компании ищут альтернативы. Так, Microsoft и Vantage предпочли построить собственные ТЭС на территории своих кампусов. Изучаются и возможность питания от топливных ячеек и создания энергохранилищ.

В соседней Великобритании энергокомпания Octopus, по слухам, построит собственные мачты линий электропередач, чтобы помочь расширить местные электросети. Провайдер уже ведёт переговоры с регулятором Ofgem и надеется, что оператор National Grid откажется от монополии в Англии и Уэльсе.

Оператор ЦОД Equinix запускает программу передачи тепла сети дата-центров IBX в системы центрального отопления и сейчас находится в поисках партнёров, готовых принять это тепло. По данным Datacenter Dynamics, компания предлагает принять участие в проекте властям муниципалитетов, энергетическим компаниям и также операторам теплосетей в рамках программы Equinix Heat Export.

Как заявляют в Equinix, практически полезную передачу тепла возможно организовать только при сотрудничестве с операторами инфраструктуры, поставщиками энергии и местными властями — всё во имя блага людей и планеты, говорит компания. Впрочем, истинной причиной появления столь масштабной программы являются скорее законодательные инициативы в области экологии и устойчивого развития. К тому же ЦОД сейчас становятся всё более энергоёмкими и горячими из-за активного внедрения ИИ. Equinix заявила, что уже реализовала некоторые схожие проекты в области отопления во Франции, Финляндии, Германии, Ирландии, Швейцарии и Канаде.

Источник изображения: Equinix

Уже в следующем месяце Equinix начнёт экспортировать тепло из парижского ЦОД PA10, которое, в частности, направят в Олимпийский водный центр. В Канаде (Торонто) тепло ЦОД TR5 распределяется между многочисленными жилыми зданиями, а также ближайшей гостиницей, университетом и местным торговым центром. Кроме того, круглый год ЦОД обеспечивает многочисленные здания горячей водой при посредничестве партнёра Markham District Energy.

Системы рекуперации и утилизации избыточного тепла применяют atNorth, Google, Apple, Microsoft, Green Mountain, Amazon, JD.com, VodafoneZiggo, Penta Infra, nLighten, Digital Realty, Stack, Elisa и другие бизнесы, прямо или косвенно относящиеся к рынку дата-центров. Например, всё чаще тепло ЦОД используется для обогрева бассейнов, бань и даже аквапарков.

Мировое потребление электричества дата-центрами может вырасти более чем вдвое к 2026 году. По данным AI Business, соответствующие данные содержатся в докладе Fueling the Future компании PGIM, специализирующейся на управлении активами. Одним из ключевых факторов, влияющих на энергопотребление, называются высокие нагрузки при обучении больших языковых моделей (LLM).

Более того, если сегодня на долю ЦОД приходится всего 2 % от всего потребляемого в мире электричества, то к 2030 году потреблением может стремительно вырасти — до более 20 %. Также сообщается, что развитые страны просто не успевают расширять свою электрическую инфраструктуру. Например, спрос на энергию со стороны ЦОД в Ирландии, где её и так не хватает, должен удвоиться к 2026 году, составив до трети общего потребления электричества страны.

Источник изображения: American Public Power Association/unsplash.com

В PGIM считают, что операторы дата-центров должны искать баланс между наращиванием вычислительной мощности и возможностью получать энергию из каких-либо источников. В докладе отмечается, что операторы отвечают на этот вызов по-разному — некоторые активно сотрудничают с поставщиками «зелёной» энергии для интеграции «безуглеродных» источников непосредственно с комплексами ЦОД.

Источник: PGIM

Некоторые операторы, включая Microsoft, расширяют водородную энергетику — компания участвует в разработке водородных топливных ячеек, способных заменить дизельные генераторы. Перспективной является атомная энергия. Например, AWS приобрела принадлежавший Talen Energy кампус ЦОД возле АЭС. Некоторые рассчитывают на малые модульные реакторы (SMR), разрабатываемые многими стартапами, например — поддерживаемой Сэмом Альтманом (Sam Altman) компанией Oklo, их можно будет устанавливать в непосредственной близости от ЦОД и снабжать кампусы «чистой» энергией.

Как заключили авторы доклада, сегодня операторам ЦОД приходится не только думать о том, как масштабировать свой бизнес для увеличения вычислительных мощностей, но и как получать дешёвое электричество в достаточных объёмах. И пока это получается далеко не у всех.