Компания Shell, по сообщению ресурса Datacenter Dynamics, установила резервуары иммерсионного (погружного) охлаждения GRC в своём техасском ЦОД в Хьюстоне. Они используются для отвода тепла от кластерного оборудования Penguin Solutions на основе процессоров AMD.

Установки GRC S10 Duo смонтированы в ЦОД Skybox компании Element Critical. Каждый из модулей S10 Duo может вмещать оборудование мощностью до 200 кВт (100 кВт на стойку стандарта 42U) с использованием тёплой воды с температурой около +32 °C. При снижении температуры воды до +7 °C производительность каждой системы GRC может быть увеличена практически в два раза.

По имеющейся информации, Shell установила в техасском дата-центре 864 двухпроцессорных сервера (судя по логотипам, это системы Penguin Solutions) с 96-ядерными чипами AMD Epyc 9654 Genoa. Таким образом, в общей сложности задействованы 1728 процессоров и 165 888 ядер. В ЦОД используются как минимум шесть погружных модулей S10 Duo.

Источник изображения: GRC via Datacenter Dynamics

Сама Shell, как и многие другие нефтяные компании, разрабатывает специальные жидкости для систем погружного охлаждения, предназначенных для применения вместе с вычислительным оборудованием высокой плотности. Например, состав Shell S3 X производится из природного газа.

Ещё в конце 2022 года Shell присоединилась к программе GRC ElectroSafe по сертификации альтернативных жидкостей для систем погружного охлаждения. Речь идёт о диэлектрических составах, которые должны соответствовать определённым требованиям в плане экологичности, эффективности и безопасности.

Modine Manufacturing решила диверсифицировать свои активы, вложившись в иммерсионное охлаждение. Как сообщает Datacenter Dynamics, компания приобрела активы стартапа TMGcore, предлагавшего однофазные и двухфазные системы иммерсионного охлаждения для HPC-систем. Сейчас Modine принадлежит производитель чиллеров Airedale.

TMGcore ещё в 2019 году представила роботизированную двухфазную иммерсионную платформу OTTO, а позже показал мобильную платформу OTTO EdgeBox. Также в портфолио компании есть компактная (2,4 м²) однофазная 200-кВт 48U-платформа ComputeCore и аналогичная платформа CryptoCore для тех, кто занимается майнингом.

Источник изображения: TMGcore

Modine приобрела как интеллектуальную собственность, так и другие активы TMGcore, заявив, что это укрепит позиции компании в качестве провайдера комплексных решений для охлаждения вычислительной техники. При этом само юридическое лицо, стоящее за TMGcore, не приобреталось. По словам представителя Modine, покупка активов поможет компании предлагать системы воздушного, жидкостного и гибридного охлаждения.

Хотя иммерсионные системы пока считаются нишевой технологией для майнинга и высокопроизводительных вычислений, давно предсказывается, что рост плотности размещения вычислительных мощностей позволит таким СЖО выйти на более широкий рынок, а катализатором станет развитие ИИ-платформ. В Modine ссылаются на оценки экспертов, которые прогнозируют, что рынок систем иммерсионного охлаждения к 2028 году вырастет до $7,8 млрд.

Оператор дата-центров Stack Infrastructure, по сообщению ресурса Datacenter Dynamics, планирует размещать на своих площадках, ориентированных на задачи ИИ, стойки для оборудования высокой плотности с поддержкой общей мощности до 300 кВт или даже больше.

Stack намерена применять конфигурируемые решения, которые смогут поддерживать мощность до 30 кВт на стойку с традиционным воздушным охлаждением или до 50 кВт на стойку с теплообменниками на задней двери. При переходе на прямое жидкостное охлаждение мощность будет достигать 100 кВт на стойку. Stack также заявляет, что в дальнейшем намерена обеспечить мощность 300 кВт на стойку или выше благодаря внедрению погружного охлаждения.

Заявленный показатель — это весьма большое значение, и в настоящее время лишь несколько компаний объявили о подобных проектах. Так, CyrusOne предложила дизайн ЦОД, специально оптимизированный для работы с ИИ: он также предусматривает мощность до 300 кВт на стойку при использовании погружного охлаждения. Digital Realty готовит колокейшн-площадки со стойками на 70 кВт. В свою очередь, Equinix намерена использовать СЖО в более чем 100 ЦОД по всему миру.

Источник изображения: Stack

Stack в Северной Америке оперирует площадками в Атланте, Калгари, Чикаго, Далласе-Форт-Уэрте, Нью-Олбани, Северной Вирджинии, Фениксе, Портленде, Кремниевой долине и Торонто. В регионе EMEA компания работает в Копенгагене, Франкфурте, Женеве, Милане, Осло, Стокгольме и Цюрихе. В Азиатско-Тихоокеанском регионе у неё есть ЦОД в Канберре, Мельбурне, Осаке, Перте, Сеуле и Токио. В дальнейшем Stack намерена активно расширяться, для чего недавно было привлечено долговое финансирование на сумму более $290 млн.

Корпорация Intel, по сообщениям сетевых источников, расширяет сотрудничество с тайваньскими партнёрами с целью разработки и вывода на рынок передовых систем охлаждения для дата-центров, поддерживающих ресурсоёмкие задачи, в частности, приложения ИИ.

В проекте принимают участие компании Kenmec и Auras Technology. Кроме того, Intel сотрудничает с Тайваньским институтом промышленных исследований (ITRI): стороны намерены сформировать новую лабораторию для сертификации технологий охлаждения НРС-систем на соответствие международным стандартам.

Источник изображения: Intel

Инициатива Intel предусматривает создание первого в отрасли открытого решения для развёртывания полноценных систем иммерсионного (погружного) охлаждения. Кроме того, будет предложен эталонный дизайн такой платформы. Предполагается, что технология поможет поднять производительность ЦОД. Intel говорит о разработке модульной системы охлаждения на основе сверхтекучей жидкости, которая обеспечит возможность отвода тепла от компонентов мощностью 1500 Вт и более.

Новая СЖО, как ожидается, будет внедряться в тайваньских и международных дата-центрах. Отмечается, что ЦОД, ориентированные на задачи ИИ, требуют всё большей плотности размещения компонентов при повышении энергоэффективности и надёжности. Во многом достижение этих показателей зависит от возможностей систем охлаждения.

Kenmec уже предлагает ряд продуктов для жидкостного охлаждения — от блоков распределения охлаждающей жидкости (CDU) до специализированных стоек Open Rack version 3 (ORv3). Причем некоторые такие решения уже сертифицированы Intel.

Как заявили представители подающего надежды австралийского облачного провайдера ResetData, владельцам зданий стоит рассмотреть не только постепенно распространяющиеся технологии вроде обогрева помещений за счёт тепла ЦОД, но и более необычные варианты. Как сообщает The Register, собственный дата-центр в здании может стать очередным предложением для арендаторов. ResetData как раз и намеревается предлагать такие микро-ЦОД.

Компания разработала модули Hiperdrive с погружной СЖО для снижения энергопотребления и повышения теплоотдачи. Стартап дорабатывает Intel-серверы Dell таким образом, чтобы те могли работать с иммерсионным охлаждением Submer с сохранением гарантии производителя, причём у него, как сообщается, соответствующая сертификация. Как и прочие стартапы такого профиля, ResetData обеспечивает отдачу тепла на нагрев воды, в том числе для систем отопления.

Фото: Submer

Погружные системы охлаждения обычно тяжелее традиционных, иногда они чересчур тяжелы даже традиционных ЦОД. Поэтому ResetData оптимизировала конструкцию модулей и предложила размещать их в подвалах — там обычно прохладно, а рядом находятся все коммуникации, от канализации и водопровода до электричества. В компании считают, что владельцы бизнес-центров и офисных кампусов могут рассмотреть установку таких микро-ЦОД и сдавать вычислительные мощности и/или хранилища данных арендаторам.

Преимуществом размещения ЦОД в подвале будет минимальная задержка доступа к данным. Кроме того, СЖО обеспечивают высокую плотность размещения аппаратных мощностей, что позволяет даже небольшому модулю обслуживать нескольких клиентов. ResetData предлагает законченное решение на базе OpenStack или AzureStack HCI. В скором будущем ожидается поддержка решений Red Hat, Citrix и VMware. Если арендаторам понадобятся ИИ-вычисления или 3D-графика, Hyperdrive может предоставить серверы с ускорителями NVIDIA A40.

Компания Equinix, один из крупнейших в мире операторов дата-центров, предоставляющий в том числе услуги колокации и объединения сетей, объявила о планах по расширению поддержки передовых СЖО на своих площадках по всему миру. Речь, в частности, идёт о применении прямого жидкостного охлаждения Direct-to-chip с размещением водоблоков на чипах внутри серверов.

Equinix обеспечит возможность использования СЖО в более чем 100 своих ЦОД в составе сети International Business Exchange (IBX). Эти площадки располагаются в более чем 45 городах по всему миру, включая Лондон, Сингапур и Вашингтон. Благодаря внедрению СЖО клиенты смогут использовать мощное оборудование с высокой плотностью компоновки для поддержания ресурсоёмких рабочих нагрузок, связанных с ИИ и пр.

Источник изображения: Equinix

Equinix предлагает независимый от поставщика подход, позволяющий заказчикам применять необходимое оборудование любых производителей. Отмечается, что переход на СЖО даёт возможность поднять производительность при одновременной экономии энергии. Кроме того, улучшается отказоустойчивость и надёжность критически важной цифровой инфраструктуры.

Дата-центры традиционно являются стабильным источником тепла, поэтому многие компании пытаются найти ему применение. Тем не менее, как свидетельствует доклад Uptime Institute, этому есть немало ограничений, связанных как с географическим положением дата-центров, так и с различными техническими и иными ограничениями.

В докладе сообщается о текущем состоянии проектов использования постоянно выделяемого оборудованием ЦОД тепла и упоминаются вызовы, с которыми приходится столкнуться операторам ЦОД и властям всех уровней для того, чтобы подобные схемы заработали. Это тем более важно, что современные дата-центры тратят порядка 20–30 % электроэнергии на охлаждение. При этом проблему можно было бы как минимум частично решить, применив эффективные механизмы отвода тепла.

Индустрия учитывает тренд на создание экоустойчивых систем и принятие законов, нацеленных на защиту окружающей среды, и уделяет всё больше внимания созданию оборудования и технологий, позволяющих, например, использовать избыточное тепло для обогрева жилья и других объектов. К тому же бум в сфере ИИ-систем ведёт к созданию инфраструктуры повышенной энергоёмкости. Рост плотности мощности на стойку постепенно увеличивается, при этом ожидаемо выделяется всё больше тепла.

Источник изображений: Uptime Institute

Лидером по применению «мусорного» тепла ЦОД по версии Uptime Institute является север Европы, отчасти из-за весьма умеренного климата. При этом приходится учитывать, что использование такого тепла возможно, только если рядом есть его потребители, что усложняет задачу и увеличивает издержки при передаче тепла на расстояние. При этом уровень выделения тепла и стоимость энергии в каждом случае разные и многое зависит от сезона. Поэтому строить бизнес на таких технологиях часто нецелесообразно и многие операторы предлагают подобное тепло даром, хотя его удаётся и продавать.

Правда, исследование показало, что в плане энергетики подобные системы обычно либо приносят нулевую пользу, либо и вовсе убыточны, поскольку часто приходится применять тепловые насосы и иные системы донагрева до отдачи тепла в системы отопления, что часто только увеличивает общее потребление энергии. Тем не менее, утверждается, что включение подобных решений в районные системы отопления способно снизить общее потребление энергии и выбросы парниковых газов. Лидерами по внедрению таких проектов являются Швеция, Дания, Финляндия.

Изменение мощности стойки за последние три года

По итогам опроса 2022 года перспективные системы жидкостного охлаждения применяет меньшинство компаний, но подавляющее большинство относится к ним с благосклонным вниманием и рассматривает их применение в будущем.

В ноябре сообщалось, что британское правительство заявляло об инвестициях в объёме $41,4 млн на поддержку схемы передачи избыточного тепла на западе Лондона, способной обеспечить отоплению и горячую воду для 10 тыс. домов. Компания atNorth также раскрыла планы строительства нового ЦОД близ Хельсинки, который тоже будет отдавать тепло в местную систему отопления. По оценкам Uptime Institute, всего сегодня в Европе действуют порядка 60 проектов по использованию тепла ЦОД в отоплении, ещё 6 — в Северной Америке. 11 аналогичных проектов разрабатываются или возводятся.

Новые законы, направленные на борьбу с климатическими изменениями, также способствуют распространению таких систем. Обновлённая европейская Директива по энергоэффективности (EED) регламентирует, что ЦОД от 1 МВт должны либо применять наилучшие практики повышения энергоэффективности, в том числе подключаться к системам отопления, либо доказать, что это нецелесообразно. Более того, германский закон об энергоэффективности Energieeffizienzgesetz (EnEfG) ещё жёстче, поскольку фактически обязывает ЦОД отдавать тепло. В 2026 году вновь построенные ЦОД должны будут утилизировать 10 % избыточного тепла, а в 2028 — уже 20 %. Различные законодательные нормы применяются и в других странах.

Использование систем прямого жидкостного охлаждения

В целом применяются различные схемы, от уже упомянутых до не совсем стандартных. Например, Bytesnet использует погружные СЖО, от которых забирается избыточное тепло, а финский оператор систем отопления Fortum сам определил местоположение ЦОД Microsoft, от которых он получает тепло. Одна из самых необычных схем применяется в Японии, где для охлаждения применяется снег, а талая вода потом применяется для выращивания угрей на продажу. Экономика подобных систем довольно сложна. Приходится учитывать многочисленные факторы, от потребностей местных отопительных сетей до себестоимости энергии и тепла. Впрочем, строить ЦОД с интегрированными механизмами отвода избыточного тепла часто дешевле, чем переделывать старые.

В ходе 28-й Конференции ООН по изменению климата (COP28), которая проходит в Дубае (ОАЭ) с 30 ноября по 12 декабря 2023 года, 63 государства, включая США и Канаду, подписали обязательство сократить выбросы парниковых газов в сфере охлаждения примерно на две трети до 2033 года.

Отмечается, что охладительные установки, такие как системы кондиционирования воздуха, не только приносят людям облегчение во время жары, но также критически важны для целого ряда областей. Холодильное оборудование применяется для обеспечения сохранности продуктов питания, при доставке лекарственных препаратов и пр. Одним из крупнейших секторов использования охладительных установок является сегмент дата-центров.

Источник изображения: Google

Традиционные методы охлаждения провоцируют изменение климата. По данным ООН, на такие системы приходится более 7 % от общего объёма глобальных выбросов парниковых газов. Эксперты говорят, что при сохранении нынешних тенденций к 2050 году потребность в энергии для охлаждения помещений возрастёт в три раза. А это спровоцирует рост вредных выбросов в атмосферу. Ситуация ухудшается из-за быстрорастущей плотности и мощности ЦОД на фоне стремительного развития сервисов ИИ и НРС. Если не предпринять необходимые меры, затраты на охлаждающее оборудование к 2050 году, как ожидается, увеличатся более чем в два раза.

В соответствии с подписанным обязательством страны должны сократить выбросы парниковых газов в сфере охлаждения на 68 % к 2033-му, а также повысить энергоэффективность такого оборудования.

Сообщается также, что высокому риску воздействия экстремальной жары из-за отсутствия доступа к охлаждению подвергаются более 1 млрд жителей планеты, подавляющее большинство из которых проживают в Африке и Азии. Более того, почти треть населения Земли сталкивается со смертельно опасными тепловыми волнами более 20 дней в году. Поэтому охлаждение имеет важное значение для защиты здоровья. Между тем принятие мер по снижению энергопотребления холодильного оборудования не только поможет уменьшить вредные выбросы, но и позволит снять нагрузку с энергосетей и сэкономить триллионы долларов.

Управление генерального инспектора (OIG) Министерства энергетики США провело проверку ЦОД Национальной лаборатории Ок-Ридж, на базе которой работают передовые суперкомпьютеры, в том числе — первая в мире экзафлопсная система Frontier. Как сообщает The Register, результаты оставляют желать лучшего.

В сентябре прошлого года в OIG поступило заявление о необходимости проверки качества обслуживания и калибровки оборудования (в первую очередь речь температурных датчиках и автоматике систем охлаждения) на площадке лаборатории, расположенной в Теннеси. Лаборатория занимается проектами в области атомной энергетики и обеспечения национальной безопасности. Доклад по результатам проверки связан с ЦОД на площадке Ок-Ридж. В одном из кампусов находится центр Oak Ridge Leadership Computing Facility (OLCF), управляющий суперкомпьютером Frontier.

Фото: ORNL

Инспекция проводилась с января по сентябрь 2023 года и подтвердила данные поступившего регулятору заявления. Согласно докладу OIG, в заявлении сообщалось, что программа калибровки не соответствовала нормам, а предохранительные клапаны (PRV) в ЦОД или совсем не обслуживались, или обслуживались недобросовестно. Сбой работы клапанов мог привести к повышению давления выше допустимых пределов, что потенциально могло нанести вред как оборудованию, так и персоналу. Как сообщают в OIG, поскольку инфраструктура не обслуживалась должным образом, этом могло ограничить доступность вычислительных ресурсов и поставить под угрозу выполнение целей миссии лаборатории.

Управление вычислительными мощностями лаборатории выполняет некоммерческая организация UT-Battelle, созданная в 2000 году исключительно для контроля над площадкой Ок-Ридж в интересах Министерства энергетики при сотрудничестве с Университетом Теннесси и некоммерческим Мемориальным институтом Баттеля.

Фото: ORNL

В OIG заявляют, что программа обслуживания UT-Battelle не соответствовала необходимым требованиям. В самой UT-Battelle сообщили регулятору, что регулярная калибровка не нужна, поскольку каждый элемент оборудования калибруется при установке, а позже системы ЦОД постоянно контролируются субподрядчиком с помощью ПО, уведомляющего об инцидентах. В OIG подчёркивают, что хотя такая практика разрешена, всё ПО должно контролироваться с помощью специальной программы обеспечения качества, описывающей, каким именно образом соблюдаются требования к безопасности.

Однако лаборатория не смогла предоставить таких документов — в UT-Battelle фактически не знают, предоставляет ли ПО корректные данные. Кроме того, UT-Battelle не проверяла вовремя все воздушные клапаны, а почти половина клапанов для воды и теплоносителя не была протестирована и/или обследована в соответствиями с инструкциями. В некоторых случаях тесты проводили в соответствии с рекомендациями производителя, а не принятыми в лаборатории правилами. UT-Battelle заявляет, что процедура проверки сейчас пересматривается.

Изображение: AMD

В отчёте OIG подчёркивается, что в 2020 году уже проводилась аналогичная проверка, выявившая буквально те же проблемы. Хотя в некоторых аспектах положение улучшилось, требуются дальнейшие меры для приведения дел в порядок. При этом в UT-Battelle полностью признали правомерность рекомендаций и согласились разработать план обеспечения качества для мониторингового ПО и обеспечить работу и обслуживание PRV-клапанов в соответствии с актуальными процедурами и требованиями.

Компания Cloudflare, предоставляющая услуги CDN, поделилась планами по модернизации своей инфраструктуры: речь идёт о переходе на серверы 12-го поколения (Gen 12), которые позволят решать в том числе ресурсоёмкие задачи в области ИИ. Развёртывание оборудования нового поколения запланировано на 2024 год.

Cloudflare отмечает, что, помимо применения более мощных процессоров, будут задействованы последние достижения в области памяти, хранения данных и безопасности. Каждый элемент проектируемых серверов тщательно оценивается, включая форм-фактор и средства охлаждения.

Серверы прошлого поколения (Источник изображений: Cloudflare)

Отмечается, что одной из основных проблем является постоянный рост TDP чипов. Так, серверы Cloudflare 9-го поколения были основан на Intel Xeon 6162 (Skylake) с TDP 150 Вт, серверы 10-го поколения — на AMD EPYC 7642 (Rome) с TDP до 240 Вт, а решения 11-го поколения — на AMD EPYC 7713 (Milan) с мощностью 240 Вт. У процессоров AMD EPYC Genoa значение TDP по умолчанию достигает 360 Вт и может быть настроено до 400 Вт, а у Intel Xeon Sapphire Rapids этот показатель составляет до 350 Вт. Следующее поколение процессоров x86 от AMD и Intel рассчитано на TDP до 500 Вт. Таким образом, возникает необходимость в более эффективном охлаждении.

Серверы Cloudflare Gen 10 и Gen 11 выполнены в форм-факторе 1U1N с воздушным охлаждением. При использовании процессоров с TDP более 350 Вт в таких серверах требуется задействовать 7–8 двухроторных вентиляторов, постоянно работающих на максимальной скорости — они могут справиться и с 400-Вт CPU. В таком режиме энергопотребление каждого из вентиляторов достигает 40 Вт, что в сумме даёт до 320 Вт только на охлаждение. При пиковых нагрузках общая потребляемая мощность сервера, включая компоненты охлаждения, собственно процессор и другие комплектующие, может превысить 750 Вт.

Однако многие площадки, где Cloudflare размещает серверы, имеют ограничение по мощности на уровне стойки. При энергопотреблении 750 Вт/узел компания может оказаться заполненной лишь наполовину. Поэтому принято решение перейти от серверов 1U1N к системам формата 2U1N. Это, как утверждается, обеспечит ряд преимуществ, в том числе:

• Поддержку вентиляторов диаметром до 80 мм, которые могут перемещать бо́льшие объёмы воздуха;
• Возможность установки более высокого и крупного радиатора, который может более эффективно рассеивать тепло;
• Меньшее сопротивление воздушным потокам внутри корпуса;
• Наличие дополнительного пространства для ускорителей и пр., в том числе полноразмерных.

Тепловое моделирование показало, что четырёх однороторных вентиляторов диаметром 60 или 80 мм мощностью менее 40 Вт каждый достаточно для охлаждения системы 2U с процессорами с показателем TDP более 350 Вт. В сравнении с восемью вентиляторами диаметром 40 мм в 1U-шассии экономия теоретически составляет минимум 150 Вт. Таким образом, переход на форм-фактор 2U даст Cloudflare возможность полностью использовать ресурсы CPU и стоечное пространство, а также поможет снизить затраты на энергию и совокупную стоимость владения.