HPE выбрала компанию QScale в качестве партнёра для размещения своего ИИ-облака в Северной Америке. Инфраструктура, поддерживающая обучение, оптимизацию и развёртывание масштабных ИИ-моделей, базируется в дата-центре QScale Q01 в Квебеке (Канада).

Фирма QScale основана в 2018 году Винсентом Тибо (Vincent Thibault), Дэни Перроном (Dany Perron) и Мартином Бушаром (Martin Bouchard) с целью предоставления ресурсов для задач ИИ и НРС. В прошлом году компания привлекла инвестиции от американского оператора Aligned Data Centers.

Создание площадки QScale Q01 началось в 2021 году. Комплекс соответствует уровню Tier III. Для питания на 100 % используется энергия из возобновляемых источников. Заявленный коэффициент PUE составляет менее 1,2. Доступны полностью кастомизируемые системы воздушного и жидкостного охлаждения. Во втором случае мощность может превышать 300 кВт на стойку. Кроме того, задействовано естественное охлаждение, поддерживаемое холодным климатом Квебека.

Источник изображения: QScale

HPE является якорным арендатором дата-центра QScale Q01 с 2023 года. Ожидается, что после завершения строительства суммарная мощность этого кампуса составит 142 МВт. Отмечается, что современная инфраструктура QScale позволила HPE минимизировать воздействие своего ИИ-облака на окружающую среду. Энергопотребление удалось снизить приблизительно на 20 % по сравнению с традиционными ЦОД.

«Технический опыт QScale и приверженность устойчивому развитию позволили нам в сжатые сроки ввести облачную ИИ-платформу в эксплуатацию», — отметил Майк Вангсмо (Mike Wangsmo), директор направления облачных дата-центров HPE.

NVIDIA уже готовилась начать продажи систем на базе новейших ИИ-суперускорителей GB200, однако столкнулась с непредвиденной проблемой — TweakTown сообщает, что в системах жидкостного охлаждения этих серверов начали появляться протечки.

Судя по всему, серверы на основе GB200 использовали дефектные компоненты систем СЖО охлаждения, поставляемые сторонними производителями: разветвители, быстросъёмные соединители и шланги. Некорректная работа любого из этих компонентов может привести к утечке охлаждающей жидкости. В случае с моделью GB200 NVL72 стоимостью в $3 млн это может перерасти в большую проблему.

К счастью, нарушения в работе новых систем NVIDIA GB200 NVL36 и NVL72 обнаружили до начала массового производства в преддверии запуска поставок ключевым покупателям ИИ-решений. Предполагается, что на сроках поставок проблема не скажется, поскольку её успеют устранить. Впрочем, по данным источников, теперь крупные провайдеры облачных сервисов «нервничают».

Источник изображения: NVIDIA

NVIDIA предлагают свою продукцию всё больше тайваньских производителей, способных заменить бракованные компоненты для серверных систем с GB200. Однако сертификация компонентов — процесс довольно сложный, поскольку многие тайваньские компании не специализировались на их выпуске ещё в недавнем прошлом. Тем не менее, когда NVIDIA объявила, что ускорители следующего поколения получат жидкостное охлаждение, многие производители решили попробовать себя в этой сфере.

Тайваньские Shuanghong и Qihong уже имеют хороший опыт в выпуске водоблоков, а теперь расширили спектр разрабатываемых товаров, предлагая разветвители, быстросъемные соединители и шланги. Именно эти компании по некоторым данным сейчас предоставляют необходимые комплектующие для замены бракованных в новых суперускорителях NVIDIA GB200 NVL36 и NVL72. Лидером на рынке серверных СЖО остаётся CoolIT, но её услугами NVIDIA, видимо, решила не пользоваться.

Очередная нефтяная компания занялась бизнесом, связанным с ЦОД, наладив выпуск собственных жидкостей для систем охлаждения. По данным Datacenter Dynamics, для Gulf Oil Lubricants India (GOLIL), входящей в Hinduja Group, рынок систем охлаждения для дата-центров является нишевым, но, по словам компании, такие технологии весьма благоприятно влияют на окружающую среду.

По словам управляющего директора GOLIL, большинство компаний, выпускающих различные типы ГСМ, могут создавать продукты для сектора СЖО. При этом для полного заполнения, например, индийского рынка достаточно всего 12–14 млн л из расчёта 8,3 л/кВт при ёмкости ЦОД около 1,7 ГВт. Сейчас GOLIL поставляет моторные масла, тормозные жидкости, охлаждающие жидкости для радиаторов и всевозможные смазки для автомобилей, грузовиков и тракторов.

Источник изображения: Julian Böck/unsplash.com

Интерес к системам охлаждения для ЦОД в последнее время проявляют и другие нефтегазовые компании, включая Shell, Castrol, ExxonMobil, ENEOS, Petronas и SK Enmove — все они выпустили жидкости для СЖО дата-центров. Впрочем, жидкости предлагают даже продовольственные компании вроде американская Cargill и представители традиционной химической промышленности вроде Chemours (ответвление DuPont).

Облачная платформа Amazon Web Services (AWS) готовит ИИ-ускоритель нового поколения — изделие Trainium 3. Завесу тайны над этим решением, как сообщает ресурс Fierce Networks, приоткрыл вице-президент компании по инфраструктурным услугам Прасад Кальянараман (Prasad Kalyanaraman).

Оригинальный ускоритель AWS Trainium дебютировал в конце 2021 года. Его производительность — 3,4 Пфлопс на вычислениях малой точности и до 840 Тфлопс в FP32-расчётах. В ноябре 2023-го было представлено решение AWS Trainium 2, которое, как утверждается, вчетверо производительнее первой версии. Теперь AWS готовит изделие третьего поколения.

Кальянараман намекнул, что энергопотребление Trainium 3 достигнет 1000 Вт или более. Он не стал называть конкретные цифры, но сказал, что для ускорителя планируется применение СЖО. «Текущее поколение ускорителей не требует СЖО, но следующему она понадобится. Когда мощность чипа превышает 1000 Вт, ему необходимо жидкостное охлаждение», — отметил Кальянараман.

Источник изображения: AWS

В настоящее время единственными ИИ-изделиями, показатель TDP которых достигает 1000 Вт, являются ускорители NVIDIA Blackwell. Вместе с тем, по имеющимся сведениям, Intel разрабатывает устройство в соответствующей категории с энергопотреблением на уровне 1500 Вт.

На текущий момент почти все дата-центры AWS используют технологию воздушного охлаждения. Но Кальянараман сказал, что компания рассматривает возможность внедрения технологии однофазной СЖО (а не иммерсионного охлаждения) для поддержки ресурсоёмких рабочих нагрузок. К внедрению СЖО вынужденно пришли и Meta✴ с Microsoft — компании используют гибридный подход с водоблоками на чипах и теплообменниками на дверях стойки или же в составе отдельной стойки.

Кроме того, отметил Кальянараман, AWS стремится к дальнейшей оптимизации своих ЦОД путём «стратегического позиционирования стоек» и модернизации сетевой архитектуры. Речь идёт о применении коммутаторов следующего поколения с пропускной способностью до 51,2 Тбит/с, а также оптических компонентов.

Компания OpenAI, по сообщению ресурса Datacenter Dynamics, наняла еще одного бывшего сотрудника Tesla и Google для развития своей вычислительной инфраструктуры. Несмотря на использование облака Microsoft Azure, OpenAI развивает собственное направление ЦОД, в связи с чем расширяет штат специалистов в соответствующей области.

В OpenAI перешел Реза Хиабани (Reza Khiabani), который ранее в течение почти двух лет работал в Tesla в качестве инженера-теплотехника. Он, в частности, помогал в создании системы охлаждения для ИИ-суперкомпьютера Dojo, для которого планируется построить специальный дата-центр. Однако с реализацией проекта возникли сложности.

До прихода в Tesla Хиабани проработал почти девять лет в Google, из которых основную часть времени выполнял обязанности технического менеджера, архитектора тепловых систем и технического руководителя команды по разработке СЖО для ИИ-ускорителей семейства Cloud TPU. Он курировал проектирование ЦОД, тепловой дизайн TPU и «разработку машстабных систем жидкостного охлаждения».

Источник изображения: Google

В OpenAI Хиабани войдёт в техническую команду. Чем именно ему предстоит заниматься, не уточняется. Но можно предположить, что его работа снова будет связана с решениями СЖО для дата-центров, ориентированных на ресурсоёмкие приложения ИИ.

OpenAI активно нанимает бывших специалистов Tesla и Google. В частности, ранее ИИ-компания назначила бывшего руководителя Google TPU Ричарда Хо (Richard Ho) главой отдела аппаратного обеспечения. В OpenAI также перешли ветеран Google Тодд Андервуд (Todd Underwood) и старший инженер-программист команды Tesla Dojo Клайв Чан (Clive Chan).

Согласно новому исследованию Omdia, рынок систем охлаждения для ЦОД уже достиг $7,67 млрд — результаты превзошли предыдущие прогнозы экспертов. Среднегодовой темп прироста ожидается на уровне 18,4 % до 2028 года. Основным драйвером стало развитие ИИ-платформ и рост инфраструктуры с высокой энергетической плотностью. Ожидается, что объём рынка достигнет $16,87 млрд к 2028 году, а доля СЖО вырастет до 33 %.

Поскольку энергоёмкие ИИ-системы получили повсеместное распространение, спрос на жидкостное охлаждение серьёзно вырос. В числе главных трендов — быстрое распространение теплообменников задних дверей (RDHx) в комбинации с однофазным прямым жидкостным охлаждением чипов. Рост в этом сегменте составил впечатляющие 65 % год к году. Нередко в таких системах применяются технологии передачи тепла в системы отопления зданий или подогрева различных объектов и вроде бассейнов. Комбинация воздушного и жидкостного охлаждения позволяет создавать эффективные и сбалансированные системы терморегулирования.

Как заявляют в Omdia, в 2023 году произошла консолидация рынка, в результате основные прибыли получают считанные компании. Впрочем, Omdia расширила свой обзор, который теперь включает 49 вендоров вместо 40. Аналитики добавили китайских OEM-производителей и поставщиков компонентов прямого жидкостного охлаждения. Лидерами рынка остались Vertiv, Johnson Controls и Stulz, причём Veritiv увеличила долю на 6 % благодаря устойчивому росту спроса в Северной Америке и партнёрству с облачными операторами.

Источник изображения: Omdia

Рост рынка систем охлаждения для ЦОД ранее ограничивался преимущественно недостатком производственных мощностей, в частности, нехваткой компонентов вроде блоков распределения охлаждения (CDU), на спрос производители давно не жалуются. Поставщики всеми силами стремились удовлетворить спрос, но взрывной рост потребностей операторов ЦОД всё равно создал дефицит на определённых участках цепочек поставок. К счастью, в 2024 году прогнозируется улучшение ситуации.

Источник изображения: Omdia

Также Omdia отмечает рост доли систем жидкостного охлаждения. Этот рынок активно развивается в Северной Америке и Китае, в дело вступают всё новые вендоры, а прежние участники рейтингов расширяют свою деятельность. На рынке СЖО, объём которого близок к $1 млрд, лидером остаётся CoolIT, предлагающее прямое жидкостное охлаждение. Второе место занимает Sugon, преимущественно занимающаяся системами иммерсионного охлаждения, а замыкает тройку Lenovo, комплектующая некоторые свои системы фирменной СЖО.

Системы терморегулирования неизбежно развиваются под влиянием ИИ-решений и из-за росту требований к экоустойчивости серверного оборудования и ЦОД в целом. Несмотря на прогнозы роста, будет наблюдаться нехватка СЖО и недостаток экобезопасных технологий. Ожидается, что в будущем внедрение оптимизированных с помощью ИИ систем охлаждения, договоры о стратегическом партнёрстве между вендорами, а также рост энергоэффективных и экоустойчивых решений определят развитие индустрии. В результате технологии охлаждения будут соответствовать потребностям в охране окружающей среды.

Компания Supermicro, по сообщению ресурса The Register, планирует развернуть дополнительные мощности по выпуску оборудования с жидкостным охлаждением для дата-центров. Спрос на такие решения растёт на фоне стремительного развития ИИ и платформ НРС.

Не так давно глава Supermicro Чарльз Лян (Charles Liang) заявил, что использование СЖО в ЦОД вырастет на тысячи процентов в ближайшие два года. Приблизительно 15 % стоек, отгруженных компанией в 2024 году, будут оснащены СЖО, а в 2025-м этот показатель может достичь 30 %.

На этом фоне Supermicro расширяет производство оборудования с СЖО в Кремниевой долине. В частности, планируется открытие трёх новых кампусов. Они станут частью новой экосистемы СЖО, нацеленной на удовлетворение потребностей клиентов по всему миру. Предприятия сосредоточат усилия на комплексных готовых решениях с жидкостным охлаждением, включая отдельные системы и стойки.

Источник изображения: Supermicro

«Многие операторы дата-центров присматриваются к энергосберегающим решениям с прямым жидкостным охлаждением (DLC). Supermicro разрабатывает модульные платформы с СЖО для фабрик ИИ и задач НРС», — отмечает Лян.

Говорится, что дополнительные мощности будут развёрнуты в Сан-Хосе (Калифорния, США) и в Азии. В частности, в Сан-Хосе Supermicro ранее в этом году приобрела около 8 га земли и различные объекты, которые будут использоваться для производства, сборки и складирования продукции. Кроме того, Supermicro арендует в этом регионе многофункциональные производственные и складские площади. Компания также строит современный комплекс в Малайзии.

В Supermicro заявляют, что продолжают тесно сотрудничать с операторами ЦОД для оптимизации характеристик оборудования под конкретные задачи и нагрузки. Многие из моделей серверов компании предназначены именно для жидкостного охлаждения.

По мере роста энергопотребления ЦОД развиваются и решения, способные компенсировать ущерб окружающей среде. Network World сообщает, что компании Hewlett Packard Enterprise (HPE) и датская Danfoss запустили серию усовершенствованных модульных дата-центров, позволяющих использовать тепло, генерируемое в процессе их работы, в любых целях. За основу была взята система утилизации «мусорного» тепла, применяемая в штаб-квартире Danfoss в Дании.

По данным Международного энергетического агентства (IEA), к 2026 году ИИ-индустрия будет потреблять на порядок больше электроэнергии, чем в 2023 году. Дата-центры всегда вырабатывали много тепла, причём по мере роста вычислительных мощностей растёт и отдача тепловой энергии. Поэтому HPE и датская инжиниринговая компания Danfoss создали готовое решение в рамках HPE IT Sustainability Services — модульную систему Data Center Heat Recovery.

Решение включает модульный дата-центр HPE (Modular Data Center) — компактный контейнер с высокой плотностью размещения оборудования с прямым жидкостным охлаждением, который, как заявляют в HPE, может быть развёрнут практически везде и позволит снизить общее потребление энергии на 20 %. Danfoss же предоставила модули отбора тепла для его передачи ближайшим зданиям и промышленным объектам. Безмасляные компрессоры Turbocor повышают эффективность систем охлаждения ЦОД при оптимистичном сценарии на целых 30 %.

Источник изображения: Danfoss

Выгода для пользователей очевидна, говорят компании, поскольку захваченное тепло позволяет не генерировать его специально. В HPE даже предложили измерять сэкономленное тепло в «негаваттах», т.к. затраты на его генерацию в данном случае отрицательны. С учётом огромных объёмов потребляемого ЦОД электричества, экономия 30 % энергии может стать существенной.

Впрочем, технология имеет определённые ограничения и пригодится не всем. Если обогревать окружающие здания нет необходимости, то никакой экономии энергии и не будет. Подобные технологии уже активно применяют как в Северной Америке, так и в Европе и других регионах. Особенно эффективны они в странах с прохладным климатом. Впрочем, такие системы пока довольно дороги, а иногда и вовсе не имеют смысла по целому ряду причин, в том числе экономических.

Разработчик систем прямого безводного жидкостного охлаждения ZutaCore и провайдер облачных IT-инфраструктур для гиперскейлеров Wiwynn объявили о стратегическом партнёрстве. В рамках соглашения Wiwynn инвестирует средства в ZutaCore с целью ускорения внедрения технологии прямого жидкостного охлаждения HyperCool Direct-On-Chip в дата-центрах, ориентированных на ресурсоёмкие задачи ИИ. Три года назад Wiwynn инвестировала в разработчика погружных СЖО LiquidStack.

Двухфазная система HyperCool с замкнутым контуром способна отводить тепло от самых мощных серверных чипов. При этом используется специальная диэлектрическая жидкость, что позволяет защитить оборудование от коррозии. Отмечается, что экосистема HyperCool продолжает развиваться по мере распространения в ЦОД процессоров и ускорителей следующего поколения, предназначенных для поддержания растущих рабочих нагрузок ИИ и НРС.

Источник изображения: ZutaCore

В числе партнёров, поддерживающих HyperCool, названы AMD, ASUS, Boston Limited, Dell, Equinix, Intel, Pegatron, SuperMicro, UNICOM Engineering, World Wide Technologies (WWT) и др. «Благодаря сотрудничеству с Wiwynn мы можем установить новый стандарт устойчивого развития ИИ в дата-центрах, где энергоэффективность и достижение нулевых выбросов парниковых газов могут сосуществовать со стремительным развитием ИИ», — отмечает Эрез Фрейбах (Erez Freibach), соучредитель и генеральный директор ZutaCore.

Среди ключевых особенностей и преимуществ технологии HyperCool разработчик называет возможность повторного использования тепла, коэффициент PUE на уровне 1,04, отсутствие простоев в работе серверного оборудования в случае утечки охлаждающей жидкости, минимальные затраты на техническое обслуживание, возможность повышения плотности серверов в ЦОД, совместимость с чиплетной архитектурой и поддержку изделий с показателем TDP в 2800 Вт и более.

Глава Supermicro Чарльз Лян (Charles Liang) ожидает, что 30 % стоек, которые компания поставит в следующем году, будут оснащены СЖО. Как передаёт The Register, компания теперь способна выпускать до 1 тыс. стоек с СЖО ежемесячно и готова отправлять их клиентам всего через 2–4 недели после получения заказа, хотя ранее сроки поставок такого оборудования могли составлять от четырёх месяцев до одного года.

Уже в этом году 15 % отгруженных компанией стоек будут оснащены СЖО, а в 2025 году этот показатель удвоится. По словам Ляна, настал звёздный час СЖО, хотя за предыдущие 30 лет эта технология смогла завоевать только 1 % рынка. Естественно, взрывной рост связан активным освоением генеративного ИИ, который требует всё большего количества всё более плотно упакованных ускорителей, для которых TDP на уровне 1 кВт становится нормой.

Источник изображения: Supermicro

DLC-системы Supermicro позволяют добиться плотности 80–100 кВт на стойку. При этом Лян снова повторяет всё те же тезисы, что звучали уже не раз. Так, СЖО позволят частично избавиться от не слишком подходящего при таких TDP воздушного охлаждения, сэкономить место в стойках, повысить общую «продуктивность» и энергоэффективность ЦОД, а значит — ещё больше приблизиться к идеалам устойчивого развития и экологичности индустрии в целом.

Компания готовит 4U-платформы с СЖО для HGX B200, но предложит и 10U-вариант с воздушным охлаждением. Также стоит ожидать «воздушную» систему на базе HGX B100 и собственную реализацию GB200 NVL72. А чтобы удовлетворить растущий спрос на свои серверы, компания к концу году откроет в Малайзии новый завод, способный выпускать до 5 тыс. полностью укомплектованных стоек каждый месяц.