Эксперименты с иммерсионным охлаждением для мейнфреймов и суперкомпьютеров начали проводиться ещё в 1970-х годах прошлого века, но массовой технология так и не стала из-за высокой стоимости и сложности обслуживания. Примечательно, что сегодня, когда чипы становятся всё более горячими, главным препятствием на пути коммерческого внедрения иммерсионных технологий стала NVIDIA, передаёт ZDNet Korea со ссылкой на источники в индустрии.

Возрождение интереса к технологии началось в конце 2000-х гг., когда всерьёз встала проблема повышения энергоэффективности дата-центров. С середины 2010-х крупные облачные компании вроде Microsoft, Google и Alibaba начали эксперименты с двухфазным иммерсионным охлаждением, однако рынок таких систем до сих пор находится в зачаточном состоянии.

NVIDIA же «виновата» тем, что не сертифицирует подобные системы. Как заявил один из отраслевых инсайдеров, компания не даёт никаких гарантий при использовании иммерсионных систем со своими ускорителями, поскольку неизвестно, какие проблемы могут возникнуть в долгосрочной перспективе. Прямое жидкостное охлаждение (DLC) менее эффективно, чем иммерсионные системы, но NVIDIA всё ещё считает, что пока достаточно и этого.

Источник изображения: NVIDIA

Влияние на отсутствие повсеместного внедрения иммерсионного охлаждения, вероятно, оказали и экономические причины. Погружные СЖО требуют специальной инфраструктуры, поэтому внедрить их в уже действующие ЦОД с традиционным воздушным охлаждением трудно. При этом системы прямого жидкостного охлаждения (DLC) успешно сочетаются с воздушными системами на базе уже имеющейся инфраструктуры.

Эксперты прогнозируют, что настоящий расцвет рынка иммерсионного охлаждения придётся на 2027–2028 гг. Ожидается, что оно будет активно распространяться после выхода ускорителей NVIDIA Rubin Ultra. Так, стойка Rubin Ultra NVL576 будет потреблять 600 кВт, а Google, OCP и Schneider Electric уже проектируют стойки мегаваттного класса. Следующее поколение чипов будет обладать настолько интенсивным тепловыделением, что охладить с помощью привычных СЖО уже не получится, говорит один из инсайдеров. По слухам, NVIDIA активно нанимает специалистов, связанных с иммерсионным охлаждением.

Источники свидетельствуют, что в будущем у операторов ЦОД якобы просто не останется выбора. Однако Intel, ZutaCore, CoolIT, Accelsius и др. уже представили водоблоки для чипов с TDP от 1 кВт до 4,5 кВт, так что DLС ещё долго будут сохранять актуальность.

Подразделение Apollo Global Management решило приобрести немецкого производителя охлаждающего оборудования Kelvion у фонда прямых инвестиций Triton. Последний сохранит за собой миноритарный пакет акций, сообщает Bloomberg. Как сообщили представители продавца, сделку предполагается закрыть в конце этого или в начале следующего года. По данным источников, Kelvion оценивается в €2 млрд ($2,3 млрд), включая долги.

Ранее Kelvion была подразделением немецкой GEA Group AG, которое специализировалось на системах теплообмена. Компания также поставляет решения для захвата углерода и производства водорода, и иные промышленные решения. Triton приобрела бизнес в 2014 году за €1,3 млрд (включая долги). В 2019 году инвестиционный фонд Triton провёл реструктуризацию €600 млн облигаций Kelvion, вложив дополнительные средства, чтобы сохранить контроль над компанией.

Источник изображения: Kelvion

Как сообщает Datacenter Dynamics, компания была основана в 1920 году и сегодня имеет собственные площадки на американских континентах, в регионе EMEA (Европа, Ближний Восток и Африка), а также в странах Азиатско-Тихоокеанского региона. Для дата-центров предлагаются системы фрикулинга, а также решения для жидкостного охлаждения.

За последние пять лет Apollo направила около $58 млрд на климатические проекты и проекты энергоперехода. В июне компания договорилась помочь Electricite de France (EDF) привлечь до £4,5 млрд ($6,1 млрд) посредством частных размещений облигаций для финансирования строительства АЭС Hinkley Point C и других проектов в Великобритании.

Также известны инвестиции в оператора ЦОД ToerPoint и производителя чипов Wolfspeed. В текущем месяце компания объявляла о намерении купить Stream Data Centers и даже ведёт переговоры с Meta✴, чтобы помочь той профинансировать недостроенные дата-центры.

Занимающаяся дата-центрами и энергетикой компания Tidal NRG намерена создать гелиевую систему охлаждения для стоек ИИ-серверов. Уже подписано соглашение с Innov8 Gases — специалиста в газовой промышленности, который поможет разработать новый продукт, сообщает Datacenter Dynamics. Таким образом, Tidal заключила на долгий срок соглашение о закупке гелия, а также обеспечит миноритарные инвестиции в акционерный капитал нового партнёра.

Как сообщают представители компаний, гелий имеет весомые эксплуатационные преимущества в сравнении с водой или воздухом благодаря высокой теплопроводности, низкой вязкости и инертности газа. Благодаря этому новая система обеспечит большую энергоэффективность в сравнении с конкурирующими решениями и долгосрочную устойчивость.

По словам главы Tidal NRG, сотрудничество знаменует собой большой шаг вперёд в развитии устойчивой цифровой инфраструктуры. Он заявил, что гелий позволит повысить эффективность охлаждения, одновременно позволяя не идти на «экологические компромиссы», ставящие под угрозу масштабируемость ИИ-вычислений. Впрочем, всё это пока лишь анонсы.

Источник изображения: Tidal NRG

Пока гелий не очень широко используется в качестве хладагента для ЦОД, хотя в последние 10 лет, например, производители HDD вроде Toshiba, Seagate или Western Digital применяют их в своих продуктах вместо воздуха для повышения их ёмкости и эффективности хранения.

Tidal NRG представляет собой предприятие, ориентированное на строительство ЦОД гиперскейл-уровня для ИИ-задач и HPC. В июне компания объявила о партнёрстве с Texas Energy Group для совместного строительства дата-центров в Техасе. Подробности о том, когда и где намереваются строить эти дата-центры, есть ли у бизнеса земля под эти цели и кто будет оплачивать эти проекты, пока не разглашаются. На сайте Tidal тем временем утверждается, что компания имеет доступ к 1,5 ГВт электроэнергии.

Разработчик систем охлаждения Air2O предложил необычные модули High Thermal Density Air-Cooled Rack Assembly с двумя горизонтально расположенными 42U-стойками, которые, по словам компании, позволят заметно увеличить плотность размещения вычислительных мощностей, сообщает Datacenter Dynamics.

К стойкам с двух сторон прилегают теплообменники, а между стойками находится воздушный коридор с собственными вытяжными вентиляторами высотой 2,8 м. Таким образом, воздух охлаждается до попадания в стойку и после выхода из него, что, по словам, Air2O, упрощает его повторное использование. По данным компании, новые модули обеспечивают энергетическую плотность до 320 кВт при фрикулинге и до 600 кВт при прямом жидкостном охлаждении. В версии с СЖО место одного из теплообменников занимает CDU.

Источник изображений: Air2O

Масштабировать модули предполагается путём штабелирования. Air₂O заявляет, что способна разместить до 120 соответствующих модулей общей мощностью до 40 МВт в помещении 16 × 25 × 20 м (400 м²), тогда как традиционный ЦОД такой же мощности может занимать более 25 тыс. м². Каким образом предполагается обслуживать оборудование в таких стойках, компания, к сожалению, не уточняет. Также нет данных, построила ли компания хоть один такой модуль.

По словам компании, стандартные 19″ стойки, разработанные AT&T более ста лет назад и используемые в большинстве дата-центров, устарели и никогда не предназначались для оборудования с высокой плотностью тепловой энергии. Подчёркивается, что оборудование современных ЦОД не должно выглядеть, как оснащение телефонной станции столетней давности.

Со стойками экспериментируют не только специализированные компании, но и гиперскейлеры. Например, в конце 2024 года Microsoft и Meta✴ представили дизайн ИИ-стойки с раздельными шкафами для питания и IT-оборудования, а в мае 2025 года Google показала мегаваттные стойки с питанием 400 В и СЖО для ИИ-платформ будущего. А NVIDIA предлагает перейти уже к 800 В.

Испанский стартап YPlasma, по сообщению Datacenter Dynamics, провёл инвестиционный раунд на сумму $2,5 млн. Средства будут направлены на разработку технологии безвентиляторного плазменного охлаждения серверного оборудования.

Фирма YPlasma отделилась от Национального института аэрокосмических технологий Испании (INTA) в 2024 году. Компания занимается разработкой новой системы воздушного охлаждения, основанной на использовании электростатических полей для формирования воздушного потока. При этом благодаря отсутствию традиционных вентиляторов может быть повышена энергетическая эффективность и улучшена надёжность, говорят разработчики.

Источник изображения: YPlasma

Технология YPlasma предполагает применение плазменных актуаторов с диэлектрическим барьерным разрядом (Dielectric Barrier Discharge, DBD), которые генерируют ионный ветер. Конструкция включает два тонких медных электрода, один из которых окружён диэлектрическим материалом, таким как тефлон. При подаче высокого напряжения воздух вокруг актуатора ионизируется, создавая плазму непосредственно над поверхностью диэлектрика. Благодаря этому формируется управляемый ламинарный поток заряженных частиц — так называемый ионный ветер, который можно использовать для обдува электронных компонентов. Направление и скорость потока контролируются путём изменения напряжения, проходящего через электроды. Толщина актуаторов составляет всего 2–4 мм, тогда как скорость ионного ветра может достигать 10 м/с.

Утверждается, что предложенное решение по эффективности отвода тепла сравнимо с небольшими вентиляторами. У системы отсутствуют подвижные части: это позволяет экономить место внутри корпуса устройств и способствует устранению вибраций, что потенциально может продлить срок службы оборудования.

В программе финансирования YPlasma приняли участие венчурный фонд Faber и международная венчурная компания SOSV. Предыдущий инвестиционный раунд был проведён в 2024 году: тогда стартап получил $1,2 млн от SOSV/HAX, Esade Ban и др.

Стартап Oklo, поддерживаемый главой OpenAI Сэмом Альтманом (Sam Altman), объявил о партнёрстве с компанией Vertiv для разработки передовой технологии управления электропитанием и охлаждением для гиперскейлеров и колокейшн-ЦОД, сообщает Datacenter Knowledge.

Компании совместно разработают интегрированную систему электропитания и охлаждения дата-центров, применяющую малые модульные реакторы Oklo и передовые системы управления электропитанием Vertiv. Партнёры объявили, что это обеспечит надёжное выполнение ресурсоёмких задач HPC и ИИ с попутным снижением негативного воздействие на окружающую среду.

Система будет использовать пар и электричество, вырабатываемые SMR Oklo. Демонстрация технологии планируется на первом объекте Oklo Aurora Powerhouse в Национальной лаборатории Айдахо. Речь идёт о полноценном коммерческом реакторе, который начнёт вырабатывать электричество к концу 2027 или началу 2028 гг.

Источник изображения: Oklo

Компании объявили, что намерены создать комплексные эталонные проекты для дата-центров, желающих интегрировать новую систему охлаждения. Используя тепло реакторов Oklo для питания систем охлаждения Vertiv, можно будет значительно повысить энергоэффективность дата-центров. Партнёры заявили, что разрабатывают концепцию, позволяющую использовать проверенные общедоступные готовые компоненты без внесения существенных изменений в базовую инфраструктуру.

Представитель компании сообщил журналистам, что ядерные технологии обеспечивают «чистое», надёжное и предсказуемое электропитание. Компания подчеркивает, что атомные электростанции обладают самым высоким коэффициентом использования установленной мощности (92 %), что значительно выше, чем у геотермальной (74 %) и ветровой (35 %) энергетики, что делает ядерную энергию ключевым решением для стабильного энергоснабжения. К текущему моменту компания заключила предварительные договоры на поставку 14 ГВт.

Сотня ведущих мировых хабов ЦОД может пострадать от глобального потепления, поскольку растущие требования к охлаждению увеличивают стоимость эксплуатации и потребление воды. Более того, отключения оборудования из-за перегрева будут происходить всё чаще, сообщает The Register со ссылкой на данные Verisk Maplecroft.

Компания, занимающаяся анализом рисков, способных повлиять на мировые бизнесы и инвесторов, выпустила доклад, посвящённый проблеме возможного перегрева ЦОД в будущем. Дело в том, что значительные части Европы страдают от рекордной жары. Впрочем, выводы касаются в первую очередь конца десятилетия и более позднего периода.

Компания отмечает, что ЦОД обычно комплектуются резервными источниками питания вроде генераторов для обеспечения энергией в случае отключения магистральных линий электропередачи. При этом водоснабжение и энергоэффективность регулярно повышаются. Тем не менее, эксперты пришли к выводу, что надёжность многих дата-центров может оказаться под вопросом в период температурных скачков и роста спроса на ИИ-сервисы, хранилища данных и облачные вычисления.

Источник изображения: Maplecroft

В Maplecroft утверждают, что для 56 из 100 ведущих хабов ЦОД характерен «высокий» или «очень высокий» риск по индексу Cooling Degree Days (CDD), который отражает частоту и интенсивность превышения температурных порогов, требующих активного охлаждения строений. При наихудшем сценарии SSP585 от CMIP6, предполагающем высокие выбросы парниковых газов, проблемы коснутся 68 хабов к 2040 году, и до 80 — к 2080 году.

В любом случае, ¾ мировых ЦОД будут требовать всё большего охлаждения на более длительные сроки каждый год, в результате это приведёт к повышению затрат воды и электроэнергии. 100 ключевых хабов ЦОД в 2030–2080 гг. столкнутся с увеличением на 83 % количества дней, когда будет требоваться активное охлаждение.

Maplecroft также отмечает, что спрос на электроэнергию со стороны дата-центров уже становится проблемой в некоторых странах и регионах мира вроде США, Ирландии и Сингапура. Кроме того, средний дата-центр, по данным исследования, использует около 1,4 тыс. м³ воды в день, и расход будет только расти по мере роста температур. Прогнозируется, что 52 % крупнейших хаба ЦОД к 2030 году будут в зонах с ограниченным доступом к питьевой воде, поэтому её нехватка может стать серьёзной косвенной угрозой для компаний, пользующихся такими дата-центрами.

Источник изображения: Maplecroft

На ЦОД, по данным Международного энергетического агентства (IEA), уже приходится около 1,5 % мирового спроса на электричество, но к 2030 году этот показатель, вероятно, вырастет вдвое, до 3 %. 40 % этой энергии, по словам Maplecroft сегодня, тратится системами охлаждения, но и этот показатель должен вырасти по мере развития глобального потепления.

В целом, в будущем меняющийся климат будет всё больше влиять на стареющие сети энергоснабжения и дата-центры, даже находящиеся на рынках с «низким» уровнем риска. Прогнозирование того, где именно такие риски будут максимальными — стратегическая проблема для всех мировых организаций, выступающих операторами или пользователями ЦОД.

Как заявляют в Maplecroft, дата-центры теперь формируют «цифровой костяк» бизнеса, поэтому необходимо понимать и предвидеть все риски, способные повлиять на надёжность работы оборудования. Это особенно важно в свете инициатив, продвигаемых на высшем государственном уровне. Так, в июне сообщалось, что Евросоюз ограничит использование воды дата-центрами в рамках плана по повышению устойчивости всего блока к засухам и улучшению качества воды.

ИИ-чипы нового поколения не просто будут быстрее — они станут потреблять беспрецедентно много энергии и потребуют кардинально изменить инфраструктуру ЦОД. По данным учёных, к 2035 году энергопотребление ИИ-ускорителей может вырасти до порядка 15 кВт, из-за чего окажется под вопросом способность инфраструктуры современных ЦОД обслуживать их, сообщает Network World.

Исследователи лаборатории TeraByte Interconnection and Package Laboratory (TeraLab), подведомственной Корейскому институту передовых технологий (KAIST), подсчитали, что переход к HBM4 состоится в 2026 году, а к 2038 году появится уже HBM8. Каждый этап развития обеспечит повышение производительности, но вместе с ней вырастут и требования к питанию и охлаждению. В лаборатории полагают, что мощность только одного GPU вырастет с 800 Вт до 1200 Вт к 2035 году. В сочетании с 32 стеками HBM, каждый из которых будет потреблять 180 Вт, общая мощность может увеличиться до 15 360 Вт (в таблице ниже дан расчёт для стеков HBM8, а не HBM7 — прим. ред.).

Ожидается, что отдельные модули HBM8 обеспечат ёмкость до 240 Гбайт и пропускную способность памяти до 64 Тбайт/с. В рамках ускорителя можно суммарно получить порядка 5–6 Тбайт HBM с ПСП до 1 Пбайт/с. Это приведёт к изменению конструкции самого ускорителя. Ключевым элементом становятся стеки HBM — процессоры, контроллеры и ускорители будут интегрированы в единую подложку с HBM-модулями. Возможен переход к 3D-упаковке с использованием двусторонних интерпозеров-подложек или даже нескольких интерпозеров на разных «этажах» кристаллов.

Источник изображений: KAIST

Кроме того, для ускорителей придётся разработать и новые системы охлаждения. К уже традиционным прямому жидкостному охлаждению (DLC) и погружным СЖО, вероятно, придётся добавить системы теплоотвода, интегрированные непосредственно в корпуса чипов. Также будут использоваться «жидкостные сквозные соединения» (F-TSVs) для отвода тепла из многослойных чипов, «бесстыковые» соединения Cu–Cu, термодатчики в кристаллах и интеллектуальные системы управления, позволяющие чипам адаптироваться к температурным изменениям.

На уровне ЦОД изменится и контур охлаждения, и температурное зонирование всего объекта. В KAIST подчёркивают, что высокую плотность размещения мощностей объекты в большинстве регионов попросту не смогут поддерживать. Пока гиперскейлеры резервируют гигаватты на десятилетия вперёд, региональным коммунальным службам потребуется 7–15 лет на модернизацию ЛЭП. А где-то этого может и не произойти. Так, в Дублине (Ирландия) по-прежнему действует мораторий на строительство новых ЦОД, во Франкфурте-на-Майне похожий запрет действует до 2030 года, а в Сингапуре сегодня доступно всего лишь 7,2 МВт.

Как считают эксперты, электричество превратилось из одной из статей расходов в определяющий фактор — от его доступности будет зависеть сама возможность реализации ИИ-проектов. На электричество приходится 40-60 % операционных расходов в современной инфраструктуре ИИ, облачной и локальной. Как отмечают в TechInsights, один 15-кВт ускоритель при круглосуточной работе может «съедать» энергии на $20 тыс./год, и это без учёта стоимости охлаждения.

Компании уже вынуждены пересматривать стратегии развёртывания инфраструктуры, учитывая соответствие регуляторным требованиям, региональные тарифы на электроэнергию и др. Гиперскейлеры получают дополнительное преимущество благодаря более низкому PUE, доступу к возобновляемой энергии и оптимизированным схемам закупки энергии. В новой реальности производительность измеряется не только в долларах или флопсах, но и киловаттах.

Более того, меняется география рынка ЦОД. Богатые энергией регионы вроде США, Скандинавии или стран Персидского залива привлекают всё больше инвестиций для строительства дата-центров, а регионы со слабыми энергосистемами рискуют превратиться в «ИИ-пустыни», в которых масштабировать мощности невозможно.

Строителям ИИ-инфраструктуры теперь придётся уделять очень много внимания вопросам энергетики: расходами на электричество, наличие источников энергии, прозрачностью выбросов, близостью ЦОД к электросетям и др. Буквально на днях американский регулятор NERC, отвечающий за надзор за электросетями и сопутствующей инфраструктурой в США, заявил, что подключение к сетям ЦОД в настоящее время весьма рискованно из-за непредсказуемости ЦОД.

Amazon Web Services (AWS) разработала и ввела в эксплуатацию собственную систему жидкостного охлаждения для дата-центров за 11 месяцев — этой быстрый ответ на стремительно растущие запросы всё более мощных ИИ-ускорителей, сообщает пресс-служба компании. Именно охлаждение сегодня переживает революцию: индустрия ЦОД массово переходит с воздушного охлаждения на СЖО, говорит компания.

При этом в компании подчёркивают, что цель — не создавать «комфортные» для чипов условия на уровне 20 °C, а защита серверов от перегрева при минимально расходе как воды, так и энергии. Современные ИИ-чипы выделяют очень много тепла, но для повышения производительности их приходится размещать максимально близко друг к другу. В этом случае поток воздуха должен быть столь интенсивным, что классическую схему фрикулинга применять просто неэффективно и дорого.

Источник изображения: Amazon

В AWS утверждают, что индустрия миновала порог, после которого использование СЖО выгоднее для теплоотвода. Команда AWS изучила уже имеющиеся на рынке продукты, после чего решила разработать собственный вариант. Было выбрано прямое охлаждение чипов (DLC) — водоблок монтируется непосредственно на ускоритель, через него циркулирует теплоноситель с температурой на уровне «джакузи», отводя тепло к специальной системе для сброса тепла. Цикл замкнутый, т.ч. жидкость циркулирует многократно, не увеличивая расхода воды дата-центром.

От формирования концепции до создания готового прототипа прошло четыре месяца. За 11 месяцев AWS завершила проектирование, отрегулировала цепочки поставок, разработала ПО для управления системой, протестировала её и запустила в производство. Важнейшим элементом является собственный модуль распределения жидкости (CDU), который в компании оценивают, как более производительный и экономичный, чем имеющиеся на рынке готовые решения.

Источник изображения: Amazon

В AWS подчёркивают, что он сконструирован специально под задачи гиперскейлера, благодаря чему снизились затраты и увеличилась эффективность работ. Первую систему испытали в исследовательском центре AWS, а позже установили в действующем ЦОД. Летом 2025 года должно начаться масштабное внедрение системы — её будут монтировать всё в большем количестве дата-центров компании, с учётом современных потребностей ресурсоёмкой вычислительной инфраструктуры.

Ещё в конце 2024 года сообщалось, что Amazon представила новую архитектуру ИИ ЦОД, энергоэффективную и экологичную. В частности сообщалось, что новые решения связаны с электропитанием и охлаждением — СЖО предполагалось монтировать даже на уже действующих площадках IT-гиганта. Примечательно, что новые ускорители Tranium 3 действительно требуют эффективных систем охлаждения — их энергопотребление может достигать 1000 Вт.

Castrol представила сервис управления оборотом жидкостей для систсем жидкостного охлаждения (СЖО) дата-центров. Это должно помочь операторам ЦОД в переходе с воздушных систем на жидкостные — последние всё более востребованы при использовании высокоплотных серверных стоек, сообщает Datacenter Dynamics.

Принадлежащая BP компания Castrol заявляет, что новый сервис охватывает все четыре фазы жизненного цикла работы СЖО, включая запуск системы, текущее обслуживание, устранение неисправностей, утилизацию жидкостей. Предполагается, что это поможет преодолеть барьеры на пути внедрения СЖО в дата-центрах.

В Castrol отмечают, что операторы уже осознали преимущества жидкостного охлаждения, но им нужны гарантии долгосрочной сервисной поддержки. Тем временем Castrol десятилетиями осуществляет её в других сферах, например — в автоиндустрии. Теперь этот опыт будет использован и для обслуживания дата-центров. Новая услуга будет оказываться с помощью партнёрской сети Castrol с привлечением сторонних компаний. Цель — избавиться от «операционной и технической неопределённости», замедлившей внедрение жидкостных систем.

Источник изображения: Castrol

Утверждается, что в СЖО охлаждающая жидкость является единственной «точкой отказа» и ухудшение условий эксплуатации снижает эффективность работы оборудования и может привести к его поломке. Тем временем «структурированный» подход Castrol обеспечивает поддержку на каждом этапе.

Ранее компания разработала линейку охлаждающих жидкостей для СЖО, включая ON Direct Liquid Cooling PG 25, представленную в декабре 2024 года. В том же году компания ввела в эксплуатацию модульный ЦОД в Оксфордшире (Oxfordshire) на площадке собственного исследовательского центра для тестирования и демонстрации собственных решений.

Активно занимаются разработкой технологий и решений для СЖО и другие компании из нефтегазовой и смежных отраслей: Shell, SK Enmove, ExxonMobil, Perstorp, Gulf Oil.