Компания Didital Realty внедрила прямое жидкостное охлаждение чипов (DLC) на 170 своих колокейшн-объектах, размещённых по всему миру. Datacenter Dynamics сообщает, что речь идёт о комбинации решений вроде теплообменников задней двери (RDHx) и собственно DLC. В результате плотность размещения оборудования достигает 30–150 кВт на стойку, а в некоторых случаях ещё больше.

По данным самой компании, совместное использование RDHx и DLC позволяет удвоить плотность стоек в сравнении с решениями прошлого поколения. В августе прошлого года компания предложила решения на основе AALC — гибридной системы Air-Assisted Liquid Cooling, как раз совмещающей RDHx и DLC. На тот момент сообщалось о пороге в 70 кВт на стойку на 28 региональных рынках Северной Америки, Европы. Ближнего Востока и Азиатско-Тихоокеанского региона.

По данным компании, новое решение будет использовать уже существующую инфраструктуру, чтобы удовлетворить растущие потребности ИИ-систем и станет применяться в более половины подконтрольных ЦОД. Вместе с тем планируется и дальнейшее внедрение разработок на новых площадках. Известно, что в проекте участвует Lenovo Infrastructure Solutions Group (ISG), но роль компании не раскрывается.

Источник изображения: Digital Realty

Ранее жидкостное охлаждение Digital Realty уже опробовала в нескольких ЦОД, включая объекты во Франции и Сингапуре. Компания также является инвестором стартапа Colovore, управляющего в Калифорнии ЦОД с жидкостным охлаждением. Не дремлют и конкуренты. Так, оператор Equinix сообщил о готовности поддержать использование прямого жидкостного охлаждения более чем в 100 дата-центрах ещё в декабре прошлого года.

Администрация общих служб США (GSA) реализовала на аукционе НРС-систему под названием Cheyenne, которая была введена в строй в Центре суперкомпьютерных вычислений NCAR-Wyoming (NWSC) штата Вайоминг в 2016 году. Стоимость лота составила $480 085, тогда как затраты на строительство машины оцениваются как минимум в $25 млн.

Cheyenne стал одним из последних суперкомпьютеров компании Silicon Graphics International (SGI). Корпорация HPE приобрела эту фирму после того, как Cheyenne был смонтирован, но до фактического запуска системы в эксплуатацию. На момент начала работы производительность комплекса составляла 5,34 Пфлопс, что соответствовало 20 месту в актуальном тогда списке ТОР500.

Cheyenne представляет собой кластер SGI ICE XA с 4032 узлами, каждый из которых содержит два процессора Intel Xeon E5-2697v4 Broadwell (18C/36; 2,3 ГГц). Таким образом, суммарное количество ядер достигает 145 152. Применяется оперативная память DDR4-2400 ECC общей ёмкостью 313 Тбайт (4890 модулей на 64 Гбайт). В состав машины изначально входило хранилище данных вместимостью 40 Пбайт. Энергопотребление — приблизительно 1,7 МВт. Задействована система жидкостного охлаждения.

Источник изображения: GSA

Две стойки управления с воздушным охлаждением состоят из 26 серверов типоразмера 1U (20 со 128 Гбайт ОЗУ и ещё 6 с 256 Гбайт ОЗУ), 10 коммутаторов и двух блоков питания. Суперкомпьютер эксплуатировался с 12 января 2017 года по 31 декабря 2023-го, решая задачи в области изменений климата и в других сферах, связанных с науками о Земле. Cheyenne превзошёл свой запланированный срок службы: в заявлении NWSC говорилось, что он будет эксплуатироваться до 2021 года. Однако к концу 2023-го количество сбоев и проблем стало слишком большим.

В описании лота говорится, что «примерно 1 % узлов столкнулись с отказами за последние шесть месяцев», в основном из-за модулей памяти. Кроме того, система испытывает ограничения по техническому обслуживанию из-за неисправных быстроразъёмных соединений, вызывающих протечки воды. Таким образом, «учитывая затраты и время простоя, связанные с устранением проблем», дальнейшее использование комплекса признано нецелесообразным, в связи с чем он пущен с молотка.

Вместе с тем, как отмечает Tom's Hardware, новый владелец суперкомпьютера может реализовать его основные компоненты на вторичном рынке. Например, стоимость чипов Xeon E5-2697 v4 на eBay составляет около $50, а модулей DDR4-2400 ECC ёмкостью 64 Гбайт — примерно $65. То есть, по самым скромным подсчётам, только эти компоненты могут принести новому владельцу суперкомпьютера приблизительно $700 тыс. без учёта затрат на демонтаж и вывоз машины массой 43 т, а также на тестирование компонентов. Впрочем, массовый выброс на рынок CPU и RAM в таких объёмах приведёт к снижению цен.

Нефтегазовый гигант ExxonMobil работает с Intel над разработкой новых технологий жидкостного охлаждения для дата-центров. По данным Datacenter Dynamics, компании намерены совместно разрабатывать и тестировать соответствующие энергоэффективные системы, которые будут сертифицированы для x86-чипов Intel.

Потенциально такое сотрудничество позволит клиентам ЦОД сократить выбросы и добиться целей по достижению энергоэффективности. По словам представителя Intel, работа с ExxonMobil позволит серьёзно экономить как энергию, так и воду в дата-центрах и сетевых решениях. ExxonMobil анонсировала освоение рынка охлаждающих жидкостей для ЦОД в октябре 2023 года с потртфолио синтетических и несинтетических вариантов. Помимо ExxonMobil, над аналогичными составами работают другие нефтегазовые гиганты вроде Castrol и Shell.

Источник изображения: César Couto/unsplash.com

В последние годы системы жидкостного охлаждения стали реальной альтернативой воздушному для операторов ЦОД, особенно для серверных стоек с высокой плотностью, применяемых для ИИ и прочих энергоёмких задач — они генерируют больше мусорного тепла, чем модели предыдущих поколений.

На момент запуска линейки охлаждающих жидкостей, в ExxonMobil заявляли, что соответствующая химия сможет снизить совокупную стоимость владения IT-оборудованием на 40 % в сравнении с вариантами, использующими системы воздушного охлаждения, улучшая энергоэффективность (PUE) ЦОД. В самой компании рассчитывают избавиться от всех вредных выбросов в результате своей деятельности уже к 2050 году. Впрочем, это не мешает ей активно инвестировать в расширение добычи ископаемого топлива.

Летом 2023 года уже появилась информация о том, что Intel разработала инновационную погружную СЖО, способную справиться с охлаждением чипов на 2 кВт.

Компании Accelsius и OptiCool объявили о стратегическом партнёрстве, целью которого является создание инновационных СЖО для дата-центров. Предполагается, что внедрение таких систем поможет повысить энергоэффективность ЦОД, ориентированных на ресурсоёмкие задачи ИИ.

Accelsius является разработчиком двухфазных систем NeuCool, которые используют технологию прямого жидкостного охлаждения Direct-To-Chip (DTC). В свою очередь, OptiCool занимается поставками решений для отвода тепла. Стороны намерены использовать в своих системах диэлектрическую жидкость.

Источник изображения: Opticool

Отмечается, что исторически в однофазных СЖО использовалась вода. Вместе с тем Accelsius и OptiCool отмечают «значительный рост интереса клиентов» к инфраструктурам охлаждения, которые не требуют применения воды в первичном контуре. Такой подход исключает любое потенциальное повреждение серверов и IT-оборудования в результате утечек. Для дата-центров, ориентированных на задачи ИИ и НРС, это означает «защиту инвестиций на миллионы долларов», говорят компании.

Источник изображения: Opticool

Партнёры намерены предлагать клиентам двухфазные СЖО типа DTC с активным отводом тепла через заднюю дверцу. Эти системы будут адаптироваться под потребности заказчиков, одновременно исключая риск повреждения оборудования водой. Отмечается, что в системах OptiCool используется R134a — нетоксичный синтетический хладагент.

«Это сотрудничество имеет большое значение для индустрии ЦОД, поскольку нацелено на удовлетворение растущего спроса на эффективные и устойчивые решения. Объединив наш опыт, мы можем создать комплексную систему охлаждения, отвечающую меняющимся потребностям рынка», — говорит генеральный директор OptiCool.

Nautilus Data Technologies запустила новую серию решений для модульных дата-центров на основе разработанных ранее технологий охлаждения. По данным Datacenter Dynamics, новый проект предлагает варианты для ЦОД ёмкостью до 2,5 МВт. По словам Nautilus, EcoCore расширяет эффективность сборных конструкций и упрощает процесс строительства, позволяя интегрировать рабочее пространство с техническими помещениями и размещать MEP-компоненты (электрику, водоснабжение и вентиляцию) на крыше.

Конструкция использует четыре CDU-установки для кондиционирования, каждая из которых способна отводить до 833 кВт тепла. Система поддерживает как традиционные варианты охлаждения, так и современные жидкостные. Основной модуль электропитания (PEU) обеспечивает мощность 1250 кВт (415 В, три фазы), но есть и точно такой же резервный (N+1).

Новинка будет развёрнута в Start Campus в Синише (Португалия) — впервые за пределами собственных мощностей Nautilus. EcoCore, по словам компании, соответствует запросам Start по организации бесперебойной работы серверов высокой плотности с СЖО. Компании договорились о сотрудничестве в прошлом году и заключили «многомегаваттное» соглашение. Первый модуль EcoCore будет развёрнут в ходе первой фазы строительства кампуса Start. В Nautilus и Start заявляют, что экобезопасные технологии первой задают новый стандарт в индустрии, обеспечивая непревзойдённые эффективность и адаптивность.

Источник изображения: Nautilus

Nautilus известна прежде всего проектами плавучих ЦОД и системой охлаждения дата-центров речной или морской водой. Пока компания выступает лишь оператором ЦОД-баржи в Стоктоне (Калифорния), но планирует построить и наземный объект в Мэне. Также в работе находятся и другие проекты в США, Франции и Ирландии. Меморандумы о взаимопонимании заключены в Таиланде и на Филиппинах. Впрочем, появление EcoCore, похоже, указывает на желание стать поставщиком решений для других операторов.

Принадлежащая инвестиционному фонду Davidson Kempner и британской British Pioneer Point Partners компания Start намерена построить 495-МВт кампус площадью 60 га в Португалии. Компании заявили, что Nautilus поставит охладительные системы и для второй фазы проекта, предусматривающего расширение на 120 МВт. Ранее Start оказалась вовлечена в коррупционный скандал.

ZutaCore, поставщик систем прямого безводного жидкостного охлаждения объявил о поддержке ускорителей вычислений Nvidia H100 и H200. Решения компании позволяют отводить 1500 Вт и более, что поможет добиться максимальной производительности при обработке нагрузок ИИ. ZutaCore сотрудничает с несколькими производителями серверов с целью тестирования и завершения сертификации этих решений.

Являясь одними из самых высокопроизводительных чипов, H100 и H200 имеют TDP до 700 Вт, что, по словам ZutaCore, стало проблемой для ЦОД, стремящихся контролировать температурный режим, оптимизировать энергопотребление и площади. Технология двухфазного жидкостного охлаждения ZutaCore HyperCool была разработана специально для решения этих проблем и уже доказала свою способность охлаждать самые производительные чипы мощностью 1500 Вт и более, позволяя добиться плотности 100 кВт на стойку.

Источник изображения: ZutaCore

Как отмечает Эрез Фрейбах (Erez Freibach), соучредитель и генеральный директор ZutaCore, высокие требования к охлаждению ускорителей вычислений следующего поколения наиболее эффективно решаются именно с помощью безводных СЖО по схеме direct-to-chip. Благодаря таким СЖО гиперскейлеры не только устраняют риск и огромные расходы, связанные с утечкой воды, но также могут масштабировать потребности в охлаждении практически без изменений в кампусах, системах электропитания или охлаждения.

По словам Питера Руттена (Peter Rutten), вице-президента по исследованиям IDC, в связи с ожидаемым к 2027 году ростом мирового рынка ИИ-серверов до $49 млрд, объявление ZutaCore о поддержке ускорителей следующего поколения является «важной вехой в отрасли».

Компания LiquidStack, разработчик систем погружного (иммерсионного) жидкостного охлаждения для ЦОД, сообщила о создании новой производственной площадки и глобальной штаб-квартиры в Кэрроллтоне (Техас, США). Объект функционирует с декабря 2023-го, но официальная церемония открытия состоится 22 марта нынешнего года. Отмечается, что площадка является важным этапом развития бизнеса LiquidStack.

На фоне стремительного роста спроса на ИИ-приложения и НРС увеличивается потребность дата-центров в высокоэффективных СЖО. Запуск производства в Кэрроллтоне поможет LiquidStack гибко реагировать на потребности клиентов, сохраняя при этом высокие стандарты качества и обслуживания клиентов, говорит компания. Вероятно, у LiquidStack появился крупный заказчик на американском рынке. Ранее решения компании тестировала Microsoft.

Источник изображения: LiquidStack

На новой площадке будет выпускаться полный спектр решений LiquidStack. Это, в частности, устройства распределения охлаждающей жидкости (CDU), одно- и двухфазные системы погружного охлаждения, а также модульные СЖО-платформы MacroModular и MicroModular. На территории объекта также будет размещён центр обучения и демонстрации продуктов для клиентов и партнёров.

Источник изображения: LiquidStack

Производственное предприятие LiquidStack и штаб-квартира в Кэрроллтоне имеют общую площадь приблизительно 1860 м². В настоящее время компания занимается подбором персонала: ожидается, что к концу 2024 года численность нынешней команды на площадке увеличится более чем в три раза.

«Мы наблюдаем невероятно высокий спрос на жидкостное охлаждение во всём мире в связи с распространением чипов со сверхвысоким TDP, которые применяются для задач генеративного ИИ. Инвестиции в новый объект позволяют нам обслуживать быстрорастущий рынок, создавая при этом высококвалифицированные рабочие места», — сказал Джо Кейпс (Joe Capes), генеральный директор LiquidStack.

Занимающаяся пост-продакшном видео компания Dirty Looks перенесёт все вычисления в облако оператора Deep Green, чей микро-ЦОД занимается обогревом бассейна. Datacenter Dynamics сообщает, что речь идёт о водном парке развлечений в британском графстве Девон. Компания намерена в ближайшие пять лет охватить 1,5 тыс. бассейнов в Великобритании и довести суммарную мощность своих ЦОД до 300 МВт.

Deep Green известна передачей «мусорного» тепла HPC-серверов пользователям — компания бесплатно отдаёт его плавательным бассейнам, а вычислительные ресурсы продаёт по облачной модели при посредничестве сервис-провайдера Civo, который также сотрудничает с похожим на Deep Green стартапом Heata, предлагающим отапливать дома с помощью серверов.

Источник изображения: Thomas Park/unsplash.com

В Deep Green утверждают, что серверы дают 60 % необходимого бассейну тепла в городе Эксмут. Благодаря тому, что теперь можно надолго отключать бойлеры, работающие на ископаемом топливе, спортивный объект ежегодно будет экономить до £20 тыс., а заодно снизит углеродные выбросы на 28,5 т. Опробовав сервис, Dirty Looks подписала соглашение Deep Green на 18 месяцев. Заявляется, что аналогичные договоры смогут заключить и другие компании, ответственные за создание медиаконтента.

Источник изображения: Deep Green (via The Next Web)

Работа с видео всегда потребляет немало энергии, но не требует низкого уровня задержки, который нужен традиционным облачным сервисам, что позволяет использовать удалённые ЦОД. При этом в Deep Green заявляют, что обработка контента возможна и в реальном времени. А в Dirty Looks отметили экологичность подхода Deep Green.

Электричество, которое в противном случае всё равно применялось бы для нагревателей, можно использовать для вычислений, поэтому утилизация тепла ЦОД стала одной из ключевых элементов стратегий по обеспечению экобезопасности ряда стран. В частности, речь идёт о германском Законе об энергоэффективности (Energy Efficiency Act), а в Евросоюзе в целом — о Директиве по энергоэффективности (Energy Efficiency Directive). При этом на практике такие решения дороги, а то и бессмысленны.

Компания ZTE на выставке MWC 2024 анонсировала серверный шкаф нового поколения IceCube, предназначенный для высокоплотного размещения оборудования. Решение, по словам компании, ориентировано на энергоэффективные и экологичные дата-центры. Говорится о показателе до 100 кВт в расчёте на стойку.

Жидкостное охлаждение набирает популярность в ЦОД в связи со стремительным развитием ИИ и ресурсоёмких вычислений. СЖО позволяет обеспечить более высокие мощность и плотность размещения оборудования в стойке. Шкаф ZTE IceCube предлагает гибридный подход: вода циркулирует как через дверцу, так и через водоблоки, прилегающие к горячим компонентам.

Источник изображения: ZTE

В шкафу IceCube можно разместить до 40 серверов формата 1U благодаря монтажу «с нулевым зазором», говорит ZTE. При этом, как утверждается, можно добиться «частичного значения PUE» менее 1,1. Монтаж и замену оборудования можно осуществлять без риска утечек. Реализованы средства «слепого подключения» коммуникаций.

Корейская телекоммуникационная компания SK Telecom (SKT), фирма Iceotope и разработчик смазочных материалов SK Enmove, по сообщению ресурса Datacenter Dynamics, займутся созданием систем жидкостного охлаждения (СЖО) нового поколения для дата-центров, ориентированных на ресурсоёмкие задачи ИИ.

Говорится, что стороны подписали меморандум о взаимопонимании с целью внедрения технологии прецизионного жидкостного охлаждения (Precision Liquid Cooling, PLC). В рамках проекта планируется применять специальные жидкости SK Enmove и испытательный стенд SKT. Утверждается, что система PLC обеспечивает высокую эффективность отвода тепла от серверных компонентов и экономию энергии по сравнению с альтернативными решениями.

В рамках соглашения SKT разработает интегрированный блок распределения охлаждающей жидкости (CDU) для использования в составе СЖО разных типов. В этом проекте примут участие специалисты Iceotope. В перспективе новое изделие, как ожидается, найдёт применение в ЦОД, поддерживающих работу ИИ.

Источник изображения: Iceotope

Кроме того, SKT планирует разработать автономную систему охлаждения на базе ИИ. Речь идёт о технологии, учитывающей текущую температуру и нагрузку в дата-центре. На основе полученных показателей будет автоматически оптимизироваться работа CDU и других компонентов СЖО с целью достижения наиболее эффективного отвода тепла при минимальных затратах энергии.

Отмечается, что стремительное развитие средств генеративного ИИ приводит к росту нагрузок в дата-центрах. Это, в свою очередь, порождает необходимость внедрения высокопроизводительных компонентов, включая ускорители. В результате растут показатели энергопотребления и выделяемого тепла. Поэтому операторы ЦОД всё активнее переходят на СЖО. Iceotope, SKT и SK Enmove рассчитывают, что их изделия помогут частично решить проблему растущих энергозатрат в сегменте дата-центров.