Исландский оператор дата-центров Verne Global объявил о развёртывании СЖО в подземном кампусе ЦОД The Rock, который находится в Финляндии. Внедрение системы поможет повысить эффективность при решении сложных и ресурсоёмких задач, связанных с ИИ и машинным обучением.

Verne Global отмечает, что рост популярности ИИ и НРС усиливает потребность в надёжных решениях для охлаждения дата-центров. Среднестатистический ЦОД расходует на отвод тепла от своей инфраструктуры до 40 % от общего энергопотребления. Поэтому внедрение передовых решений в области охлаждения позволяет снизить общую стоимость владения.

Verne Global также подчёркивает, что по мере роста популярности моделей ИИ увеличиваются требования к плотности размещения оборудования в ЦОД. Это создаёт дополнительную нагрузку на традиционные средства воздушного охлаждения. В результате, жидкостное охлаждение становится всё более востребованным среди операторов дата-центров.

Источник изображения: Verne Global

Сообщается, что проект по оснащению площадки The Rock жидкостным охлаждением реализован Verne Global в сотрудничестве с Dell и Intel. В частности, задействованы системы Dell DLC3000 с процессорами Intel Xeon Sapphire Rapids, обеспечивающие мощность до 80 кВт на стойку. Это первый случай использования данного решения Dell в Финляндии.

Площадка Rock, созданная финским провайдером Ficolo на базе бывших военных туннелей в скале в Пори, расположена примерно в 200 км от Хельсинки. Инвестиционный фонд Digital 9 Infrastructure (D9) из Великобритании приобрёл компанию Ficolo в 2022 году, а затем объединил её ЦОД с другими активами Verne Global. Недавно D9 объявил о продаже своей доли в Verne Global частной инвестиционной компании Ardian из Франции. Сумма сделки не раскрывается.

Индийский технологический гигант Infosys, специализирующийся на разработке ПО, консалтинге и аутсорсинге, объявил о заключении соглашения о сотрудничестве с международной энергетической компанией Shell New Energies UK с целью ускорения внедрения систем погружного охлаждения в дата-центрах.

По оценкам, на ЦОД приходится до 1,5 % мирового потребления электроэнергии и 1 % глобальных выбросов углекислого газа. Повсеместное внедрение ИИ, как отмечается, увеличит эти показатели. Вместе с тем технологии погружного охлаждения потенциально могут обеспечить снижение выбросов CO₂ на 30 % и сокращение энергопотребления на 48 %.

Infosys намерена использовать синтетическую охлаждающую жидкость Shell Immersion Cooling Fluid для однофазных систем погружного охлаждения вместе со своей ИИ-платформой Topaz. Она включает набор услуг для генеративного ИИ. Это, в частности, более 150 предварительно обученных моделей и всевозможные ресурсы для ИИ.

Источник изображения: Shell

После пилотного тестирования нового решения для охлаждения ЦОД на своих площадках компании намерены предлагать технологию корпоративным заказчикам по всему миру. Жидкости Shell, как ожидается, помогут клиентам сократить расходы и повысить производительность своих дата-центров, а также снизить негативное воздействие на окружающую среду.

Около года назад Shell присоединилась к программе GRC ElectroSafe по сертификации альтернативных жидкостей для систем погружного охлаждения. Составы Shell основаны на запатентованной технологии «газ-жидкость» (GTL). Такие жидкости предотвращают появление коррозии, а также обеспечивают улучшенную совместимость материалов и компонентов.

Компании Intel и Vertiv объявили о заключении соглашения о сотрудничестве, в рамках которого планируется разработка эффективной СЖО для ускорителей Gaudi3: эти решения, предназначенные для ресурсоёмких ИИ-задач, увидят свет в 2024 году.

Сообщается, что Gaudi3 можно будет использовать в составе серверов с воздушным и жидкостным охлаждением. В первом случае допускается работа при тепловой нагрузке до 40 кВт с температурой окружающего воздуха на входе до +35 °C.

В качестве альтернативы предлагается применять двухфазное жидкостное охлаждение. Такое решение протестировано при совокупной мощности ИИ-ускорителей до 160 кВт с использованием на входе воды с температурой от +17 до +45 °C. Эта система на основе хладагента среднего давления, как утверждается, поможет заказчикам реализовать повторное использование тепла, одновременно улучшив показатели эффективности использования воды (WUE) и энергии (PUE). Кроме того, клиенты смогут снизить совокупную стоимость владения (TCO).

Источник изображения: Vertiv

Системы двухфазного жидкостного охлаждения отводят тепло более эффективно по сравнению с другими решениями. Однако в последнее время технология столкнулась с критикой. Проблема заключается в том, что в таких системах используются фтористые соединения, такие как Novec от 3M, который недавно был снят с производства из-за опасений по поводу того, что состав может представлять угрозу для здоровья людей.

Как сообщает ресурс Datacenter Dynamics, ссылаясь на заявления представителей Vertiv, в СЖО для Gaudi3 не будут применяться полифторалкильные вещества (PFAS, «вечные химикаты»), будущее которых находится под вопросом. Однако пока не уточняется, какую именно альтернативную жидкость намерена использовать компания.

Компания ZutaCore на конференции SC23 сообщила о том, что её система прямого жидкостного охлаждения HyperCool Direct-On-Chip вошла в состав серверов Dell и Pegatron на платформе Intel Xeon Sapphire Rapids.

Двухфазная система HyperCool способна эффективно отводить тепло от самых мощных серверных процессоров — с показателем TDP 1500 Вт и более. Это комплексное решение с замкнутым контуром вместо воды использует специальную диэлектрическую жидкость, благодаря чему оборудование защищено от коррозии.

Источник изображения: ZutaCore

Платформа HyperCool обладает хорошей масштабируемостью и может быть развёрнута в новых или модернизированных дата-центрах — cтандартизированный интегрированный 6U-модуль способен отводить 100 кВт и выше. Система обеспечивает коэффициент PUE меньше 1,02. Конструкция HyperCool позволяет повторно использовать выделяемое тепло — например, для обогрева зданий. СЖО подходит для применения в ЦОД, ориентированных на решение задач ИИ и НРС. Система позволяет снизить общее энергопотребление и сократить выбросы вредных газов в атмосферу.

Отмечается, что недавно технология HyperCool была сертифицирована для высокопроизводительных серверов ASUS. Кроме того, в экосистему ZutaCore входят AMD, Boston Limited, Dell, Equinix, Intel, World Wide Technologies (WWT) и другие. Утверждается, что по сравнению с традиционными системами охлаждения решение HyperCool обеспечивает сокращение совокупной стоимости владения на 50 %.

Компания LiquidStack, специализирующаяся на разработке систем погружного (иммерсионного) жидкостного охлаждения, анонсировала однофазное решение для дата-центров. Новая СЖО, как утверждается, подходит для платформ, предназначенных для решения ресурсоёмких задач в области ИИ.

Отмечается, что решение, которое пока не получило определённого названия, предоставляет операторам ЦОД экономичный вариант перехода от воздушного охлаждения к энергоэффективному иммерсионному охлаждению.

Источник изображения: LiquidStack

Ранее LiquidStack предлагала двухфазные иммерсионные СЖО. Однако в таких системах используются фторированные растворители, такие как Novec от 3M, который недавно был снят с производства из-за опасений по поводу негативного влияния на здоровье людей. В однофазной СЖО применяются неопасные жидкости.

По заявлениям LiquidStack, представленное решение позволяет отводить более 2,8 кВт тепла в расчёте на единицу оборудования 1U или до 110 кВт на стойку. Это позволяет создавать НРС-системы на базе GPU для приложений ИИ. Система занимает такую же площадь, что и четыре стандартные стойки на 19″ или 21″. Говорится о совместимости с изделиями стандартов 1U, 2U, 4U, 600 мм, 750 мм, OCP, ORv3 и др. Однофазная СЖО LiquidStack будет доступна для предварительного заказа с 1 декабря 2023 года, а поставки начнутся в III квартале 2024 года.

Кроме того, LiquidStack объявила о выпуске новой серии универсальных блоков распределения охлаждающей жидкости (CDU), которые совместимы с большинством имеющихся на рынке систем прямого охлаждения. Изделия обеспечивают отвод тепла от 800 кВт до 1,5 МВт, благодаря чему подходят для задач НРС и ИИ. Среди преимуществ решений названы компактный шумоизолированный корпус, простота установки и обслуживания. Поставки начнутся во II четверти 2024 года.

Компания MSI на конференции по высокопроизводительным вычислениям SC23 представила новые серверы на процессорах AMD EPYC Genoa и Intel Xeon Sapphire Rapids. Устройства ориентированы на дата-центры и подходят для НРС-нагрузок, генеративного ИИ и других ресурсоёмких задач.

Одна из новинок — платформа G4201, которая допускает установку двух чипов Xeon Sapphire Rapids и 32 модулей оперативной памяти DDR5. Этот сервер формата 4U располагает восемью слотами PCIe 5.0 x16 для ускорителей высотой в два слота, а также двумя PCIe 5.0 x16 для карт толщиной в один слот.

Дебютировал также сервер G4101 типоразмера 4U. Он рассчитан на один чип EPYC Genoa (до 128 ядер; TDP до 500 Вт) и 12 модулей DDR5-4800. Возможно применение жидкостного охлаждения. Доступны четыре разъёма PCIe 5.0 х16 для трёхслотовых ускорителей и ещё два разъёма PCIe 5.0 x16. Во фронтальной части расположены отсеки для 12 накопителей U.2 NVMe или SAS/SATA (SFF). Кроме того, предусмотрены два коннектора M.2 M-Key (2280/22110, PCIe 3.0 x4/x2). Питание обеспечивают два блока мощностью 3000 Вт каждый.

Источник изображений: MSI

Ещё одна новинка — модель G3101, получившая исполнение 3U. Она допускает установку одного процессора EPYC 7002/7003 с 64 ядрами (до 300 Вт) и восьми модулей DDR4-3200. Поддерживается развёртывание СЖО. Есть шесть отсеков для SFF-накопителей с интерфейсом SATA-3 и четыре слота PCIe 4.0 x16 для карт FHFL. Предусмотрены два сетевых порта 10GbE на базе Intel X710AT2. В оснащение включены два блока питания на 1600 Вт.

Кроме того, MSI анонсировала два сервера с поддержкой Compute Express Link (CXL) — модели S1301 и S2302, оптимизированные для задач с интенсивным использованием данных. Характеристики версии S1301 формата 1U таковы: два процессора EPYC 9004 (Genoa) с 32 ядрами и TDP до 210 Вт, 24 слота для модулей DDR5-4800, два разъёма PCIe 5.0 x16 для ускорителей HHHL, 10 отсеков для накопителей E3.S CXL, два коннектора M.2 M-Key 2280 (PCIe 3.0 x2) и два блока питания мощностью 1600 Вт.

В свою очередь, сервер S2302 стандарта 2U поддерживает два чипа Xeon Sapphire Rapids (до 60 ядер; 350 Вт), 32 модуля DDR5-4800, три ускорителя PCIe 5.0 x16  FHFL и две карты PCIe 5.0 x16 HHHL. Накопители могут устанавливаться по схеме 8 × E3.S CXL и 2 × E3.S PCIe 5.0 SSD или 10 × E3.S PCIe 5.0 SSD. Применены два блока питания на 1600 Вт.

Компания OVHcloud, европейский поставщик облачных услуг, по сообщению ресурса Datacenter Dynamics, развернёт новый ЦОД в Сингапуре. Говорится, что на объекте, месторасположение которого не раскрывается, будет внедрена передовая технология жидкостного охлаждения. Вероятно, речь идёт о фирменной СЖО собственной разработки.

Подробности о дата-центре держатся в секрете, поэтому о его мощности ничего не известно. Но подчёркивается, что площадка OVHcloud будет оснащена СЖО на уровне стоек, что позволит отводить тепло непосредственно от серверов. А поэтому отпадёт необходимость в кондиционировании воздуха в помещениях c оборудованием.

Источник изображения: OVHcloud

С 2019 года в Сингапуре действует мораторий на строительство новых ЦОД: исключением являются лишь проекты, уже получившие одобрение местных властей. Проблема заключается в том, что в этом в городе-государстве очень мало необходимых для таких проектов ресурсов — свободных территорий и возобновляемой энергии. В 2022-м запрет был смягчён, но требования для операторов остаются очень высокими. Поэтому, полагают участники рынка, при реализации нового проекта OVHcloud придётся арендовать площади в одном из действующих кампусов.

Запуск дата-центра является частью плана OVHcloud по созданию 15 новых площадок. В начале этого года компания открыла дата-центр в Мумбаи (Индия), а в 2024-м планирует запуск ЦОД в Сиднее (Австралия). Ранее OVHcloud заявляла, что у неё имеется более 30 действующих и строящихся дата-центров во Франции, Канаде, США, Австралии, Германии, Польше и Великобритании.

Equinix, GDS, Microsoft и консорциум AirTrunk и ByteDance в 2023 году получили разрешение на развёртывание в Сингапуре дата-центров общей мощностью 80 МВт. А недавно компания Singtel приступила к строительству в этом государстве ЦОД мощностью 58 МВт.

Компания AlphaCool анонсировала водоблок ES H100 80GB HBM PCIe, предназначенный для использования в составе системы жидкостного охлаждения ускорителя NVIDIA H100. Новинка, получившая однослотовое исполнение, уже доступна для заказа по ориентировочной цене €300. Изделие полностью изготовлено из высококачественной хромированной меди.

Верхняя часть водоблока выполнена из углеродного волокна. Новинка специально спроектирована для серверов с ограниченным внутренним пространством. В частности, коннекторы расположены в задней части изделия, благодаря чему упрощается прокладка шлангов. Это позволяет интегрировать решение в водяной контур даже в самых тесных корпусах.

Источник изображений: AlphaCool

Задействованы фитинги стандарта G1/4". Габариты составляют 261,89 × 95,71 × 19,40 мм, а тыльная панель из алюминия чёрного цвета имеет размеры 261,89 × 95,71 × 4,00 мм. Максимальная рабочая температура — 60 °C. В комплект поставки входят термопрокладки толщиной 1 мм и термопаста Alphacool Apex с теплопроводностью 17 Вт/м·К.

Компании Intel и Submer сообщили о новом достижении в области разработки систем однофазного иммерсионного (погружения) жидкостного охлаждения: предложенная технология, как утверждается, позволяет эффективно отводить тепло от процессоров с показателем TDP до 1000 Вт.

Источник изображения: Submer

Речь идёт о решении под названием Forced Convection Heat Sink (FCHS) — радиатор с принудительной конвекцией. Говорится, что технология сочетает «эффективность принудительной конвекции с пассивным охлаждением», позволяя отводить тепло от высокопроизводительных CPU и GPU. Система включает массивный радиатор с двумя винтами в одной из торцевых частей. Это является основным отличием от традиционной концепции пассивного иммерсионного охлаждения, основанного на естественной конвекции.

Источник изображения: Submer

«Погружной радиатор, использующий принудительную конвекцию, является ключевой инновацией, позволяющей вывести однофазное погружное охлаждение за пределы существующих барьеров», — заявляет Мохан Джей Кумар (Mohan J Kumar), научный сотрудник Intel. Отмечается, что некоторые элементы новой системы охлаждения могут быть изготовлены методом 3D-печати. Intel и Submer продемонстрировали, что решение способно справляться с охлаждением неназванного процессора Xeon, TDP которого превышает 800 Вт.

Хотя нефтегазовый гигант ExxonMobil и не пользуется прежним авторитетом в эпоху продвижения экобезопасных технологий, его продукция по-прежнему востребована. Как сообщает Datacenter Dynamics, в числе прочего речь идёт и об охлаждающих жидкостях на основе ископаемых углеводородов — они используются в СЖО, а экономия на совокупной стоимости владения (TCO) ЦОД с их применением составляет до 40 % в сравнении с классическим воздушным охлаждением, заявляет компания. Кроме того, улучшается показатель PUE.

Так, в рамках мероприятия Open Compute Project (OCP) Global Summit компания анонсировала серию «синтетических и несинтетических жидкостей» EM DC 3152/3150/315, 3220, 3235 Super, 3250, 1150 и 1210 (AP). Поскольку дата-центры давно испытывают проблемы в связи с ростом спроса и вычислительной плотности, вопрос использования СЖО, в том числе иммерсионных, становится всё более актуальным. При этом будущее весьма эффективных PFAS-химикатов пока что находится под вопросом. Впрочем, сегодня доступны даже охлаждающие жидкости растительного происхождения, а ExxonMobil предлагает собственные варианты на основе углеводородов. Похожие решения есть у Castrol и Shell.

Источник изображения: ExxonMobil

ExxonMobil намеревается расширять добычу ископаемых ресурсов и дальше, несмотря на заявления ООН и прочих структур о вреде такой деятельности для окружающей среды. Вместе с тем компания вкладывает миллионы долларов в исследования, свидетельствующие об отсутствии влияния использования ископаемого топлива на глобальное потепление. Кроме того, ExxonMobil обещает к 2050 году свести к нулю выбросы в атмосферу, связанные с её действиями, параллельно отказываясь нести какую-либо ответственность за последствия использования добытых ей нефти и газа.