На рынке появляется всё больше модульных решений для ЦОД, позволяющих ускорить их ввод в эксплуатацию. Так, Vertiv представила комплексное решение SmartRun, которое объединяет шину распределения питания, сеть трубопроводов жидкостного охлаждения, систему изоляции «горячего коридора» и сетевую инфраструктуру, сообщает The Register.

По словам Vertiv, SmartRun предлагает на 85 % более быстрое развёртывание благодаря быстровозводимой модульной конструкции, готовой к работе в формате plug-and-play, и установке всех компонентов за один подход. Сложность разводки минимизируется за счёт размещения труб и кабелей над «горячим коридором». Впрочем, пока никаких дополнительных деталей Vertiv не приводит.

Модульными системами как таковыми сейчас никого не удивить, у самой Vertiv уже есть такие решения. Однако когда разговор заходит о заранее изготовленных на заводе системах, то нередко речь идёт о полностью готовых микро-ЦОД, упакованных в контейнеры со всем необходимым. Подобные решения есть опять-таки у самой Vertiv, Schneider Electric, EcoBlox, Armada, Danfoss, GreenMDC и множества других вендоров. Нечто похожее на SmartRun предлагает Nautilus.

Источник изображений: Vertiv

Не так давно новую модульную инфрастурктуру ЦОД для Digital Realty реализовала Schneider Electric — 10-МВт ЦОД HER1 в Ираклионе (Крит, Греция) был построен за 12 месяцев. Он имеет два зала по 19 стоек и работает на 100 % возобновляемой энергии. Schneider Electric предоставила два энергомодуля с MV/LV трансформаторами, ИБП и модуль воздушного охлаждения, а также оснастила два зала электропитанием и охлаждением. Все системы управляются платформой EcoStruxure.

Источник изображений: Vertiv

По расчётам Omdia, мировые продажи предварительно собранных модульных ЦОД обеспечат $10,8 млрд выручки в 2028 году. Основные преимущества — скорость сборки, предварительное тестирование и низкая стоимость строительства. Хотя в Европе, по данным Schneider Electric, всё ещё доминирует традиционное строительство ЦОД, модульные решения становятся всё популярнее — если оператор строит ЦОД с нуля, то экономия может составить до 30 %, а сроки запуска сократятся.

Synergy Research Group считает, что модульная, заранее подготовленная инфраструктура, вероятно, останется относительно малой частью рынка, поскольку её невозможно масштабировать каким-либо разумным образом. По данным экспертов IDC, перспективы подобных технологий также вызывают вопросы. В компании тоже говорят, что строить и быстро вводить в эксплуатацию такие решения легко, а вот масштабировать — довольно сложно. Другими словами, доля таких ЦОД составит менее 10 % и ситуация вряд ли изменится в обозримом будущем.

Южнокорейская LG Electronics (LG) представила серию передовых систем охлаждения для дата-центров. В том числе речь идёт о чиллерах, системах воздушного и водного охлаждения серверов, а также специальном продукте — LG Building Energy Control (BECON), сообщает пресс-центр компании. Новое оборудование и ПО, как ожидается, откроет компании дорогу на североамериканский рынок оборудования для ЦОД.

Гибридные решения LG, обеспечивающие охлаждение как чипов, так и помещений, предназначены для ИИ ЦОД нового поколения с высокой плотностью размещения вычислительных мощностей. Для узлов компания прямое жидкостное охлаждение чипов и фирменный модульный CDU (Coolant Distribution Unit), использующий высокоэффективные «эксклюзивные» инверторный насос и теплообменник. Благодаря компактности CDU можно создавать различные конфигурации, включающие до восьми блоков.

Система имеет встроенный 10,4″ сенсорный дисплей, который упрощает контроль и обслуживание системы. Сенсоры (физические и виртуальные) обеспечивают своевременную диагностику. Более того, CDU применяет технологию LG Active Load Sharing для оптимизации производительности под каждую нагрузку, что в целом повышает эффективность системы.

Источник изображений: LG

LG также разработала собственные водоблоки, готовые справиться с новейшими ускорителями с высоким TDP. Решение использует параллельную подачу охлаждающей жидкости к чипам для обеспечения высоких показателей отвода тепла. Для максимизации зоны теплообмена используются микроконалы (Skived Fin). Более того, водоблок можно кастомизировать при помощи ИИ под конкретные чипы. Для минимизации риска утечки охлаждающей жидкости, LG использует специальную пайку, дополнительно каждый водоблок подвергается тройной проверке.

Чиллер LG Water-Cooled Oil-Free Centrifugal Chiller, по данным компании, обеспечивает исключительную энергоэффективность благодаря использованию фирменных магнитных подшипников LeviTech. Данная технология, в комбинации с ИИ-управлением, помогает снизить потери энергии, повысить надёжность и способствует быстрому восстановлению после неожиданных отключений электричества. Безмасляный инверторный чиллер применяет экобезопасные хладагенты.

Воздушные чиллеры (ACC) доступны как в инверторном винтовом, так и в безмасляном центробежном исполнении и включают важные компоненты вроде собственного винтового компрессора LG. Благодаря поддержке фрикулинга ACC может плавно переключаться с охлаждения с хладагентом на естественное охлаждение (без хладагента), повышая надёжность и эффективность системы. Специальные механизмы предотвращают перебои в работе, а трёхступенчатая система возврата масла увеличивает надёжность и безопасность системы дополнительно.

Источник изображения: LG

Идеальным дополнением к ACC называется Computer Room Air Handler (CRAH), использующий вентиляторы с электронно-коммутируемыми двигателями (EC) с коррекцией коэффициента мощности и 3D-лопасти, а также специальные теплообменники для минимизации энергозатрат. Кроме того, CRAH получил модульную конструкцию решётки, упрощающую установку и обслуживание.

Для будущих решений в недавно сформированной лаборатории LG HVAC Solution Lab создан испытательный стенд, способный точно моделировать различные сценарии использования оборудования в разных условиях среды.

Все решения, от установок-чиллеров до D2C-систем и оборудования для охлаждения помещений, могут легко управляться с помощью системы BECON, представляющей собой единую централизованную платформу для управления и мониторинга охлаждения серверов и чиллерных систем. Она координирует работу каждого подключенного решения для обеспечения заданных температуры и уровня влажности. Заодно осуществляется и анализ данных для обеспечения максимальной энергоэффективности решений LG.

Нестабильная тарифная политика новой администрации США создаёт неопределённость на рынке ЦОД. В течение всего нескольких дней были анонсированы существенные пошлины, потом были сделаны исключения, а потом ввод новых тарифов был отложен на 90 дней. Но ситуация с Китаем, ключевым игроком всей цепочки поставок, продолжает усугубляться, сообщает Datacenter Knowledge.

Для индустрии дата-центров угроза повышения цен на товары и материалы может оказать долгосрочное негативное влияние. Хотя администрация продвигает идею лидерства США в этой сфере, одновременно она проводит тарифную политику, способную отчасти поставить это лидерство под угрозу и сказаться на цепочках поставок. Отраслевые игроки и без того уже действуют в условиях возможного введения пошлин со стороны Мексики и Канады — двух ключевых торговых партнёров страны, уже пострадавших от американских пошлин.

По мнению экспертов, новые пошлины повысят стоимость строительства и эксплуатации ЦОД. Часть расходов возьмут на себя участники цепочки поставок, часть — операторы и застройщики, но часть всё равно падёт на плечи непосредственных пользователей ЦОД. Хотя отмена текущих проектов из-за тарифов маловероятна, новые сборы могут повлиять на будущие инициативы, поскольку застройщики оценивают возможность перехода на альтернативные продукты и технологии, не подпадающие под действие новых ограничений. При этом считается, что спрос на ЦОД «неэластичен», поэтому увеличение расходов лишь ограниченно скажется на рынке, поскольку долгосрочные драйверы спроса не изменятся.

Источник изображения: Vardan Papikyan/unsplash.com

Если цены на строительную сталь и ключевые электрические компоненты вырастут, ввод новых мощностей в эксплуатацию значительно усложнится и замедлится. Пока эксперты задаются вопросом, как долго такие пошлины будут действовать и как это скажется на уже заказанных товарах с длительными сроками поставки. Впрочем, эксперты сходятся во мнении, что индустрия ЦОД столкнётся со значительным операционным и финансовым давлением, если тарифы в отношении полупроводников, сетевого оборудования, систем резервного питания и HVAC, а также их компонентов будут действовать долго.

При этом увеличатся не только капитальные затраты из-за подорожания оборудования и материалов, но и эксплуатационные расходы, если придётся переходить на альтернативных поставщиков оборудования. Более того, может уменьшиться маржинальность ЦОД, которые будут пытаться поддерживать конкурентоспособные цены. Кроме того, возможен срыв графика поставок из-за усложнившегося таможенного оформления. Не исключены и менее очевидные последствия вроде потенциальной фрагментации цепочек поставок, ориентирования на «конкурирующие» технические стандарты и др. Также не исключена локализация ЦОД в местах, где влияние тарифов незначительно.

Источник изображения: Etienne Girardet/unsplash.com

По словам аналитиков Synergy Research Group, одна из главных проблем — неопределённость, которая часто хуже, чем плохие новости. Крупным инфраструктурным предприятиям нужны долгосрочные планы и крупные инвестиции. Хотя основные движущие силы рынка останутся неизменными, в краткосрочной перспективе неопределённость сможет создать значимые препятствия для бизнеса. Сейчас для операторов ЦОД одной из ключевых статей расходов является энергоснабжение, так что рост расходов наверняка будет переложен на клиентов. Допускается, что краткосрочный рост затрат может быть компенсирован благодаря инновациям. Например, интерес к ядерной энергетике наблюдался ещё до появления новых тарифов.

Впрочем, из-за стремительного развития ИИ рынок ЦОД, вероятно, останется весьма устойчивым. Отмечается, что рост спроса на ИИ-сервисы крупные поставщики услуг, включая AWS, Microsoft и Google, смогут компенсировать любые краткосрочные издержки, хотя не исключена передача удалённым сотрудникам некоторых функций вроде техподдержки.

Ранее сообщалось, что в отрасли ЦОД готовятся к росту цен на серверы из-за торговой политики Трампа.Также появилась информация, что поставщики памяти, накопителей и СХД в основном проиграют от торговой войны США. Впрочем, во всём можно найти положительные моменты. Например, тайваньский производитель серверов Wistron инвестирует $50 млн в производство в США на фоне новых пошлин.

Компании Chemours, NTT Data и Hibiya Engineering объявили об объединении усилий с целью полномасштабных испытаний системы двухфазного иммерсионного (погружного) охлаждения для дата-центров. Речь идёт, в частности, об использовании специальной жидкости Chemours Opteon 2P50.

Партнёры отмечают, что сектор ЦОД быстро развивается на фоне активного внедрения ИИ и НРС. Однако существует значительный разрыв между ростом энергопотребления таких объектов и повышением эффективности систем охлаждения. Сотрудничество Chemours, NTT Data и Hibiya Engineering направлено на исследование технологий охлаждения следующего поколения, которые обеспечат повышение эффективности и устойчивости дата-центров при увеличении их мощности.

Источник изображения: Chemours

Проект ориентирован на тестирование Opteon 2P50 с целью последующей коммерциализации. Эта запатентованная диэлектрическая жидкость разработана специально для двухфазного иммерсионного охлаждения. Жидкость выполнена на основе гидрофторолефина (HFO) с нулевым озоноразрушающим потенциалом (ODP). Коэффициент GWP (потенциал глобального потепления), определяющий степень воздействия различных парниковых газов на глобальное потепление, равен 10 (AR6).

По заявлениям разработчика, жидкость Opteon 2P50 позволяет снизить энергозатраты ЦОД на охлаждение до 90 % и уменьшить общее энергопотребление дата-центров на 40 %. Кроме того, в большинстве климатических зон Opteon 2P50 даёт возможность практически полностью исключить использование воды, а также значительно уменьшить шумовое загрязнение внутри помещений. Физическая площадь ЦОД может быть сокращена на 60 %. Плюс к этому жидкость может повторно использоваться неограниченное количество раз.

В испытаниях системы двухфазного иммерсионного охлаждения на основе Opteon 2P50 примут участие различные заинтересованные стороны — от операторов дата-центров, производителей оборудования и проектно-конструкторских фирм до поставщиков ИТ-услуг и научно-исследовательских институтов.

Компания Congatec анонсировала новый кулер на основе радиатора и тепловых трубок, предназначенный для отвода тепла от чипов в экстремальных условиях эксплуатации. Особенность изделия заключается в применении ацетона в качестве рабочей жидкости вместо традиционной воды.

У ацетона температура замерзания находится на уровне −95 °C. Такие свойства ацетона предотвращают образование льда и снижают риски конденсации, благодаря чему формируется стабильный механизм теплопередачи даже при резких колебаниях температуры. Благодаря этому новый кулер может применяться в устройствах, которые рассчитаны на использование в суровых условиях — например, на открытых пространствах в Арктике. Диапазон рабочих температур у новинки простирается от −40 до +85 °C.

Источник изображения: Congatec

По заявлениям Congatec, представленное изделие невосприимчиво к механическим нагрузкам, таким как удары и вибрация. Среди сфер применения кулера называются автономные и обычные транспортные средства, подвергающиеся воздействию экстремальных температур: это машины для портовых терминалов, железнодорожных и авиационных платформ и пр. Кроме того, охладитель может устанавливаться в индустриальные устройства, эксплуатация которых сопряжена с физическими возмущениями, в частности, тряской.

Компания Congatec отмечает, что появление кулера на ацетоне расширяет сферу применения так называемых «компьютеров-на-модуле» (COM), которым ранее требовались сложные и дорогостоящие конструкции для работы при низких температурах. Решение может быть интегрировано с различными продуктами Congatec, включая COMe, COM-HPC и COM-HPC mini.

Занимающаяся разработкой СЖО серверов компания Asperitas запустила новую линейку модульных продуктов Direct Forced Convection (DFCX) для систем иммерсионного охлаждения. Речь идёт о модульных ёмкостях, предназначенных для Edge-объектов, сообщает пресс-служба компании.

Продукты были анонсированы ещё в июне 2024 года. Ранее Asperitas предлагала иммерсионный бак с естественной конвекцией, а теперь представлен вариант с принудительной циркуляцией жидкости. Модульная архитектура обеспечивает размещение стоек размером от 12U в каждой ёмкости. Также поддерживаются конфигурации «суперкластера» с многочисленными ёмкостями и блоками распределения жидкости (CDU).

Источник изображений: Asperitas

Ёмкости для стоек размера 12U обеспечивают отвод до 5 кВт на 1U или более 1 кВт на чип. Решение DFCX1 обеспечивает поддержку кластеров из трёх 4U-узлов с 24 ускорителями с возможностью отвода до 60 кВт. По данным на сайте компании, размеры модуля составляют 600 × 1215 × 1990 мм. Он весит около 1120 кг с вместе с установленным оборудованием. На бак требуется минимум 352 л диэлектрической жидкости, поставщиком которой является Shell. Впрочем, тут же описаны и чуть более скромные возможности охлаждения: до 3,6кВт/1U. Также предусмотрены два места для 19″ коммутаторов глубиной до 480 мм.

В компании заявляют, что надёжность и бесшовная интеграция являются базовыми ценностями при разработке продуктов, бизнес компании успешно растёт с системами на основе естественной конвекции Perpetual Natural Convection (PNC) и технологией DFCX, особенно теперь, в эпоху ИИ. Вскоре производитель намерен представить новые продукты серии DFCX, которые поддержат растущие потребности цифровой инфраструктуры.

Компания Submer, специализирующаяся на системах погружного (иммерсионного) охлаждения, работает над роботом ADA (Autonomous Datacenter Assistant) для автоматизации процесса установки и извлечения серверов из резервуаров СЖО, сообщает Datacenter Dynamics.

Резервуары в помещениях дата-центров значительно отличаются от традиционных стоек. Серверы и оборудование из охлаждающей жидкости необходимо погружать и извлекать вертикально. Нередко для этого применяется переносной кран, похожий на лебёдку для снятия автомобильных двигателей. Встречаются и стационарные подвесные системы, если это позволяют ресурсы и размеры помещения. После извлечения серверов необходимо очистить их от диэлектрической жидкости — нередко в процессе используется специальный поддон и чистящий раствор.

Источник изображения: Submer

Робот может значительно ускорить и упростить процесс извлечения и очистки. Сообщается, что подвижная роботизированная платформа появится в продаже в конце 2025 года, хотя исходная версия ADA была представлена ещё в октябре 2021 года. Систему изначально разрабатывали для мониторинга, а также вывода серверов из эксплуатации и ввода в эксплуатацию, в том числе для установки и извлечения серверов из резервуаров с жидкостью. Дополнительной информации о новинке журналистам не представили. По последним данным Submer получила на развитие $55,5 млн.

Помимо Submer автоматизацией установки серверов в резервуарах занималась, например, TMGcore. Она запустила платформу двухфазного иммерсионного охлаждения Otto, которая включала роботизированную лебёдку. Разработанная при сотрудничестве с Olympus Controls, система обеспечивала «горячую замену» с использованием расположенного рядом резервного сервера. В 2021 году была анонсирована версия Ottomobile, которая крепилась к задней части грузовика Ford, спроектированного как мобильный микро-ЦОД. С тех пор компанию купила Modline и включила её в подразделение Airedale.

Европейский поставщик облачных услуг Exoscale, входящий в состав A1 Digital, в партнёрстве с австрийской компанией Diggers работает над созданием устойчивых дата-центров нового поколения, ориентированных на ресурсоёмкие задачи ИИ. Речь идёт о внедрении новой технологии прямого жидкостного охлаждения (DLC).

Архитектура, разработанная специалистами Diggers, предполагает размещение серверов в «холодных ящиках» — шкафах, в которые не попадает и не выходит воздух. Для отвода тепла от CPU и GPU служат специальные пластины с микроканалами, через которые циркулирует охлаждающая жидкость.

Источник изображений: A1 Digital

Для работы системы требуется подача только электричества и воды. Водоблоки выполнены из алюминия, что предотвращает коррозию. Микроканалы распределяют жидкость таким образом, чтобы увеличить теплопередачу. Каждый водоблок может отводить тепло от двух GPU, которые монтируются с противоположных сторон. Предложенная архитектура устраняет необходимость в холодном коридоре. Утверждается, что по сравнению с обычными системами охлаждения энергопотребление сокращается на 50 %. Показатель PUE составляет до 1,05.

«Мы достигаем практически таких же технических показателей, что и при использовании погружного охлаждения, но при этом не применяется минеральное масло и нет сложностей с обслуживанием. Всё легко меняется. Вы можете менять память и накопители», — говорит генеральный директор Diggers Мартин Шехтнер (Martin Schechtner).

Вода на выходе имеет температуру около 50 °C: она может использоваться либо для нужд самого дата-центра, либо направляться в местную отопительную сеть. Решение может быть интегрировано как в новые, так и в существующие ЦОД. Exoscale испытывает систему на своём объекте в Вене (Австрия).

Национальная лаборатория по изучению возобновляемой энергии США (NREL) при поддержке Национальной лаборатории Лоуренса в Беркли (LBNL), Принстонского и Чикагского университетов представила проект, призванный решить проблему растущего потребления энергии ЦОД. Новое решение позволит обеспечить эффективное охлаждение ЦОД благодаря использованию технологии подземного хранения тепловой энергии (UTES).

Финансированием проекта занимается Управление геотермальных технологий (GTO) Министерства энергетики США (DoE). Считается, что он поможет ускорить разработку и коммерческое внедрение нового поколения геотермальных технологий — с закреплением лидерства США в данной сфере. Обычно UTES предполагает нагрев (или охлаждение) теплоносителя на поверхности в ходе естественных дневных или сезонных циклов с его последующей прокачкой через подземные хранилища различных типов.

По статистике NREL, на долю традиционных систем охлаждения приходится до 40 % годовых энергозатрат дата-центров. Система подземного хранения Cold UTES позволит использовать электричество вне пиковых периодов для формирования запасов «холода» под землёй. Эти резервы можно будет включить в действующие системы охлаждения ЦОД и применять в периоды, когда нагрузки на электросети максимальны, что в итоге сократит объёмы потребления энергии. В NREL считают, что технология во многом похожа на использование обычных аккумуляторов с учётом наиболее благоприятного времени их заряда/разряда, что позволит снизить эксплуатационные расходы ЦОД.

Источник изображения: NREL

Предполагается, что Cold UTES сможет стать коммерчески привлекательным и технически жизнеспособным решением для ЦОД. Проект позволит подтвердить потенциал соответствующих систем для операторов ЦОД, коммунальных служб и операторов электросетей. В NERL считают, что система сможет обеспечить как краткосрочное, так и долгосрочное хранение.

Похожий проект финансировало правительство Австралии для суперкомпьютера Pawsey Centre в Перте, отмечает DataCenter Dynamics. Т.н. CSIRO Geothermal Project предусматрвиает перекачивание холодной воды из неглубокого водоносного слоя для охлаждения суперкомпьютера. Нагретая вода возвращается обратно в водоносный слой ниже по течению. По оценкам, такая система сэкономит порядка 14,5 млн л чистой воды только в первые два года работы.

Есть и другие геотермальные варианты, предназначенные для интеграции с ЦОД. Например, в 2024 году появилась новость о том, что тепло суперкомпьютера в Эдинбургском университете будут закачивать в заброшенные шахты с последующим использованием для отопления местных домов.

Компания Compal Electronics, по сообщению ресурса DigiTimes, объединила усилия с Intel, BP Castrol, JWS и Priver Technology с целью создания решений с передовой системой жидкостного охлаждения Targeted Flow. Эта технология применяется во флагманском сервере SD220-8.

Инновационная СЖО использует запатентованную технологию Intel Targeted Flow, включая проприетарные резервуар Targeted Flow Tank и теплоотвод Targeted Flow Heat Sink. В последнем задействованы специальные методы для направления охлаждающей жидкости именно в те зоны процессора, которые имеют самую высокую температуру. Такой подход гарантирует максимальную эффективность охлаждения и минимизирует вероятность перегрева.

В СЖО применяется улучшенная охлаждающая жидкость BP Castrol DC 20 — это синтетический углеводородный диэлектрический хладагент с низкой вязкостью и хорошей текучестью. Применённая система охлаждения допускает повторное использование сгенерированного тепла.

Источник изображений: Compal

Сервер SD220-8 представляет собой четырёхузловое решение в форм-факторе 2U. Каждый узел может нести на борту два процессора Intel Xeon Sapphire Rapids или Emerald Rapids, а также 16 модулей DDR5-5600 (L)RDIMM. Во фронтальной части узлов могут быть установлены четыре SFF-накопителя SATA/SAS/NVMe U.2. Кроме того, есть два внутренних коннектора для SSD M.2 2280. Предусмотрен разъём OCP 3.0, а также один или два слота (в зависимости от конфигурации — два или четыре фронтальных SSD) для карт PCIe 5.0 x16 HHHL.

Узлы располагают контроллером BMC/CMC Aspeed AST 2600/2620, опциональным модулем TPM 2.0, портом USB 3.2 Gen1 Type-A. Сервер комплектуется четырьмя блоками питания мощностью 1600 Вт с сертификатом 80 Plus Platinum/Titanium.