Компания Infinity Turbine представила систему Cluster Mesh Power Generation System, преобразующую тепло серверов ИИ ЦОД в электроэнергию. Datacenter Dynamics сообщает, что новинка позволит генерировать «чистое» экобезопасное электричество, которое можно будет тут же использовать на месте, а также снизит потребности ЦОД в воде для охлаждения.

Система объединяет малые модульные ORC-турбины (Organic Rankine Cycle), использующие в качестве рабочего тела сверхкритическую жидкость CO₂, в mesh-сеть, благодаря чему обеспечиваются масштабируемость, надёжность и высокая эффективность, говорит компания. Каждый турбинный генератор требует 100 тыс. BTU (British thermal unit) тепла для производства до 5 кВт электроэнергии.

Источник изображения: Infinity Turbine

Согласно расчётам компании, комплекс из 600 турбин может отводить 60 млн BTU/час, генерировать до 3 МВт и экономить до 108 тыс. л/час (из расчёта 1,8 л на 100 тыс. BTU). А ежегодная экономия на расходах на воду может достигать почти $1,9 млн (из расчёта $2 за каждый м³). Правда, пока неизвестно, применялась ли Cluster Mesh Power Generation System хотя бы в одном ЦОД.

Компания признаёт, что изначальные расходы на установку её решения будут выше, чем в случае традиционных систем охлаждения и захвата тепла, но в долгосрочной перспективе они окупаются с лихвой. Кроме того, для достижения эффективности и стабильности работы mesh-сети турбин требуется продвинутая система управления. С другой стороны, каждая турбина работает независимо от других, что упрощает процесс обслуживания и ремонта.

Озабоченность экоактивистов вероятным воздействием ЦОД на природу штата Вирджиния (США) стала ещё серьёзнее. Financial Times сообщает, что потребление воды дата-центрами выросло почти на ⅔ в сравнении с 2019 годом, а рост спроса на ИИ только ухудшает положение.

Северная Вирджиния давно считается мировой столицей ЦОД, там работает порядка 300 соответствующих объектов. По данным Financial Times, за последние пять лет потребление воды в некоторых округах выросло почти на ⅔ — соответствующие данные были собраны энтузиастами благодаря законам о свободе информации, передаёт The Register. Около 7 млн м³ воды было использовано в 2023 году, тогда как в 2019 году — около 4,3 млн м³. В ЦОД вода используется в основном для охлаждения.

В обозримом будущем ожидается рост расхода воды, связанный с ИИ, поскольку соответствующее оборудование потребляет всё больше энергии и работает безостановочно. Так, на одну беседу с ChatGPT уходит примерно поллитра воды. При этом некоторые ЦОД находятся в регионах с дефицитом питьевой воды — даже части Вирджинии страдают от засух. Более того, во время засух и жаркой погоды дата-центрам требуется больше воды, чем обычно.

Источник изображения: Jack B/unspalsh.com

Хотя именно в Вирджинии, согласно данным Northern Virginia Technology Council, с 2015 по 2023 гг. ёмкость объектов увеличилась в пять раз. Экоактивисты, политики и просто неравнодушные граждане, обеспокоенные тем, что ЦОД занимают всё больше земли и тратят всё больше энергии и воды, сформировали НКО Virginia Data Center Reform Coalition в попытке остановить бесконтрольный рост дата-центров в штате.

Так, в одном из отчётов заявляется, что ЦОД, обслуживаемые коммунальными службами только в округе Лаудон (Loudoun) Северной Вирджинии, увеличили использование питьевой воды более чем на 250 % с 2019 по 2023 гг. Впрочем, представитель компании Aquatech заявил, что большинство ЦОД в округе используют переработанные сточные воды, которые иначе просто слили бы в Чесапикский залив, а многие новые ЦОД вообще не забирают воду для охлаждения.

Крупнейшие операторы вроде AWS берут на себя обязательства по снижению потребления воды, компания ещё в 2022 году анонсировала намерение стать «водно-положительной» к 2030 году. Впрочем, в Microsoft, наоборот, признали, что в прошлом году потребление воды на её объектах выросло на треть — виной тому именно развитие генеративных ИИ-систем. Дефицит водных ресурсов наблюдается и в других регионах. Так, британская Thames Water пригрозила урезать подачу воды дата-центрам или взвинтить цены.

Швейцарский стартап Apheros объявил о завершении раунда предварительного финансирования в размере $1,85 млн, который возглавила венчурная компания Founderful. Как сообщает стартап, полученные инвестиции позволят ему ускорить разработку и внедрение решений для жидкостных систем охлаждения на основе пенометалла.

Основанный в Цюрихе в прошлом году на базе подразделения университета ETH Zurich, Apheros разработал запатентованную технологию создания пенометалла с «беспрецедентными свойствами». Благодаря большой площади поверхности и низкой плотности новый материал имеет улучшенную теплопередачу и низкое сопротивление потоку, что делает его идеальным для высокопроизводительных систем охлаждения. Автор разработки — Джулия Карпентер (Julia Carpenter), соучредитель и генеральный директор Apheros, докторская диссертация которой в ETH Zurich как раз посвящена пенометаллу.

Источник изображений: Apheros

На веб-сайте компании сообщается, что микроструктура пенометалла Apheros «превосходно рассеивает тепло», в том числе в системах жидкостного охлаждения, включая двухфазные испарительные СЖО, с которыми решение компании может быть легко интегрировано уже сейчас. Кроме того, технология Apheros может пригодиться для создания электродов и катализаторов.

Компания уже создала первый продукт, в котором используется пеномедь. Как утверждается, это оптимальное решение для пассивного охлаждения, которое значительно превосходит текущие технологии как с точки зрения эффективности, так и с точки зрения экологического воздействия благодаря малоотходному методу производства.

Apheros протестировала свои продукты с неназванными технологическим партнёром и теперь стремится к коммерциализации своих решений. Компания рассчитывает в течение года масштабировать производство до нескольких тонн. При этом для оснащения с нуля или модернизации одного дата-центра потребуется несколько сотен килограмм пенометалла.

Любой производитель не застрахован от сбоя цепочки поставок небольших комплектующих, ведущих к значительным убыткам, иногда исчисляемым сотнями миллионов долларов. Как сообщает Tom’s Hardware, Supermicro не удалось вовремя получить достаточное количество быстроразъёмных соединений для систем жидкостного охлаждения (СЖО), из-за чего произошла задержка поставок готовой продукции покупателям. В результате сформировалась «отложенная выручка» в размере $800 млн, которую пришлось перенести с одного квартала на другой.

СЖО чрезвычайно важны для ИИ-серверов и обычно состоят из нескольких компонентов, объединяемых быстроразъёмными соединениями. Такие разъёмы могут подтекать, поэтому их качество имеет ключевое значение. Из-за высокого спроса на ИИ-серверы спрос на соединения тоже вырос. Их цена уже поднялась с $40 до $60, причём потенциальные покупатели готовы переплачивать ещё больше, лишь бы забронировать поставки.

Источник изображения: Cejn

Рынок быстроразъёмных соединителей контролируется семью компаниями, в том числе двумя китайскими, попавшими под санкции США, что только усугубляет глобальный дефицит. Тайваньские производители Global Tek, Fositek и Lotes охотно пользуются ситуацией, наращивая и ускоряя производство и сертификацию соответствующих продуктов — это поможет заполнить «пустоту» от ухода попавших под санкции китайских компаний. Global Tek активно работает с партнёрами на своих заводах, образцы уже проходят тестирование. Компания рассчитывает, что выручка от этих проектов начнёт поступать уже в IV квартале 2024 года.

Спрос на СЖО действительно высок и ожидается, что к 2028 году они займут треть рынка систем охлаждения для дата-центров. При этом уже поступают рекламации — не исключено, что поставки суперускорителей NVIDIA GB200 могут задержаться из-за протечек вспомогательной «фурнитуры» систем жидкостного охлаждения.

Компания Microsoft стала активно применять прямое жидкостное охлаждение чипов в серверах своих ЦОД. Datacenter Dynamics сообщает, что IT-гигант приступил и к изучению более передовой технологии, основанной на принципах микрогидродинамики.

Как свидетельствует недавний пост в блоге компании, посвящённый использованию воды и применяемым СЖО разных поколений, сейчас разрабатывается новая архитектура дата-центров, оптимизированных для прямого жидкостного охлаждения чипов. Это требует переосмысления конструкции серверов и серверных стоек для внедрения новых методов терморегуляции и управления энергией.

Компания уже использует sidekick-СЖО в действующих ЦОД. Впервые они были представлены во время анонса процессоров Cobalt и ИИ-ускорителей Maya. Последние будут развёрнуты в кастомных стойках и кластерах Ares. Серверы для них шире 19″ и даже OCP-стоек и нуждаются именно в жидкостном охлаждении — других конфигураций не предусмотрено. Каждый сервер получит по четыре ускорителя Maya, а стойка будет вмещать восемь серверов. А рядом с ней будет ещё одна стойка с компонентами охлаждения. Аналогичный дизайн использует Meta✴, которая также была вынуждена пересмотреть архитектуру своих ЦОД из-за ИИ.

Источник изображений: Microsoft

Не менее интересны и разработки в сфере микрогидродинамики. Этот подход предусматривает размещение микроканалов для подачи жидкости буквально внутри самих чипов, что обеспечивает ещё более высокую эффективность охлаждения. В компании утверждают, что все эти разработки оптимизированы для поддержки ИИ-нагрузок в ЦОД и в то же время дружественны к экологии. Благодаря инновациям можно значительно снизить потребление чистой воды, одновременно обеспечивая повышенную ёмкость серверных стоек, благодаря чему возрастает польза от каждого задействованного квадратного метра.

Microsoft намерена стать «водно-положительной» к 2030 году. В ESG-докладе 2023 года компания заявила, что использовала в 2022 году 6,4 млн м³, преимущественно для своих ЦОД. В докладе 2024 года показатель увеличился уже до 7,8 млн м³ в 2023 году. Проблемы с потреблением воды вообще характерны для IT-гиганта и его партнёров.

Запись в блоге Microsoft также свидетельствует о том, что компания расширила использование восстановленной и переработанной воды на площадках в Техасе, Вашингтоне, в Калифорнии и Сингапуре. В Нидерландах, Ирландии и Швеции компания собирает дождевую воду и намерена расширить эту практику на Канаду, Великобританию, Финляндию, Италию, Южную Африку и Австрию. В Нидерландах, правда, всё оказалось не так хорошо, как обещала компания. Как заявляют Microsoft, с первого поколения собственных дата-центров в начале 2000-х годов до текущего поколения в 2020-х, использование воды на кВт·ч снизилось более чем на 80 %.

Ранее компания сотрудничала с разработчиком систем двухфазного погружного жидкостного охлаждения LiquidStack, который поддерживается одним из поставщиков Microsoft — Wiwynn. В прошлом году LiquidStack представила однофазную систему иммерсионного охлаждения для ИИ-систем, а также запустила в США производство СЖО, но для кого именно она их выпускает, не уточняется.

Растущий спрос на высокопроизводительные вычисления ведёт к тому, что операторам ЦОД требуются всё более эффективные системы охлаждения для ИИ-серверов. По данным TrendForce, появление NVIDIA Blackwell к концу 2024 года приведёт к тому, что уровень проникновения СЖО в ЦОД может вырасти до 10 %. На решения Blackwell придётся около 83 % передовых продуктов компании.

Отдельные ускорители (G)B200 будут потреблять около 1000 Вт. HGX-платформы по-прежнему будут объединять до восьми ускорителей, а NVL-стойки — сразу 36 или 72. Безусловно, всё это будет способствовать росту цепочки поставок СЖО для ИИ-серверов, поскольку традиционные системы воздушного охлаждения могут попросту не справиться. В частности, GB200 NVL36 и NVL72 могут потреблять до 70 кВт и 140 кВт соответственно. В TrendFirce уверены, что NVL36 будет использовать комбинацию жидкостного и воздушного охлаждения, а вот NVL72 без СЖО не обойтись.

Источник изображения: NVIDIA

Агентство выделяет основные элементы, входящие в цепочку поставок СЖО для стоек с GB200: водоблоки, модули распределения (CDU), коллекторы, быстроразъёмные соединения (QD) и теплообменники задней двери (RDHx). Основным поставщиком CDU для ИИ-решений NVIDIA сегодня является компания Vertiv, а Chicony, Auras, Delta и CoolIT проходят тестирование. По слухам, NVIDIA уже столкнулась с протечками из-за некачественных компонентов.

В 2025 году поставки GB200 NVL36 должны достигнуть 60 тыс. стоек (суммарно 2,1–2,2 млн ускорителей). Тогда же NVIDIA начнёт предлагать облачным провайдерам и корпоративным клиентам конфигурации HGX, GB200 Rack и MGX, соотношение поставок ожидается на уровне 5:4:1. Стоечные варианты GB200 Rack рассчитаны в первую очередь на гиперскейлеров.

Источник изображения: TrendForce

TrendForce прогнозирует, что NVIDIA может представить NVL36 уже в конце 2024 года и быстро выйти на рынок, а NVL72 появится только в 2025 году. Впрочем, облачные гиганты, вероятно, постараются избежать привязки к единственному поставщика и, возможно, захотят развернуть HGX/MGX-варианты на x86-чипах или вовсе задействуют ASIC собственной разработки.

Кстати, компания NVIDIA ищет химика-материаловеда для разработки систем погружного жидкостного охлаждения для высокопроизводительных ускорителей. Специалист должен будет тестировать жидкости и материалы на совместимость, оценивать эффективность охлаждения, коррозионную стойкость и экологичность материалов, чтобы обеспечить оптимальную работу новых продуктов NVIDIA в ЦОД.

Стартап Phaidra, разрабатывающий ИИ-решения для оптимизации работы дата-центров и крупных промышленных предприятий, провёл новый раунд финансирования, в ходе которого на развитие привлечено $12 млн. Деньги будут направлены на исследования и разработки, а также на расширение рыночного присутствия.

Фирма Phaidra основана в 2019 году Джимом Гао (Jim Gao), Ведавьясом Паннеершелвамом (Vedavyas Panneershelvam) и Кэти Хоффман (Katie Hoffman) — выходцами из Google, Deepmind и Trane соответственно. Гао занимает пост генерального директора. Сейчас Phaidra получает основную часть выручки от подписок на свои решения.

ИИ-платформа Phaidra используется в качестве надстройки для системы управления зданием BMS или диспетчерской системы SCADA. Решение Phaidra анализирует показания датчиков в режиме реального времени, определяет оптимальную стратегию работы средств охлаждения и генерирует необходимые управляющие инструкции. Платформа обучается на исторических данных телеметрии конкретного объекта и накапливает опыт непосредственно во время работы, что с течением времени позволяет дополнительно повышать эффективность.

Источник изображения: Phaidra

Средства управления на основе ИИ, работающие круглосуточно и без перерывов, исключают человеческий фактор, говорят разработчики. В результате, снижаются риски простоя, повышаются энергетическая эффективность и производительность, уменьшаются выбросы вредных газов в атмосферу.

Новый раунд финансирования возглавила Index Ventures. На сегодняшний день стартап привлёк в общей сложности $60,5 млн. В число прежних инвесторов входят Callab Fund, Helena (возглавляла раунд Series A), Flying Fish Partners, Character, S32, Ahren и GSFutures. Поученные деньги помогут ускорить разработку продуктов и расширить штат, который сейчас включает около 100 сотрудников.

Швейцарская аэронавигационная служба Skyguide на этой неделе пострадала от сбоя своего ЦОД, вызванного повреждением системы охлаждения, пишет ресурс DatacenterDynamics. 25 июня в Швейцарии прошли грозы, которые привели к наводнению в районе, где находится дата-центр Skyguide, и подтоплению ЦОД.

Особенно пострадала система охлаждения, находящаяся в подвале ЦОД в Женеве. Из-за её повреждения служба Skyguide была вынуждена в этот день закрыть воздушное пространство Женевы на два с половиной часа, в связи с чем взлёт и посадка всех бортов в международном аэропорту Женевы были приостановлены. По словам представителя аэропорта Игнаса Жаннерата (Ignace Jeannerat), было отменено более 50 рейсов, более десятка было перенаправлено в другие аэропорты.

Источник изображения: Skyguide

«Был принят ряд мер, чтобы гарантировать, что системы управления воздушным движением не перегреваются, а также гарантировать охлаждение машинного зала», — указано в заявлении Skyguide. Как сообщается, к 26 июня работа системы охлаждения ЦОД была частично восстановлена, а 28 июня она уже функционировала в полном объёме.

Во избежание повторения подобных сбоев Skyguide приобрела дополнительную внешнюю систему охлаждения и мобильный дизель-генератор для поддержки имеющихся изношенных генераторов. В службе отметили, что это временное решение, и для реального устранения ущерба, нанесённого затоплением помещений ЦОД, потребуется ещё некоторое время.

Согласно новому исследованию Omdia, рынок систем охлаждения для ЦОД уже достиг $7,67 млрд — результаты превзошли предыдущие прогнозы экспертов. Среднегодовой темп прироста ожидается на уровне 18,4 % до 2028 года. Основным драйвером стало развитие ИИ-платформ и рост инфраструктуры с высокой энергетической плотностью. Ожидается, что объём рынка достигнет $16,87 млрд к 2028 году, а доля СЖО вырастет до 33 %.

Поскольку энергоёмкие ИИ-системы получили повсеместное распространение, спрос на жидкостное охлаждение серьёзно вырос. В числе главных трендов — быстрое распространение теплообменников задних дверей (RDHx) в комбинации с однофазным прямым жидкостным охлаждением чипов. Рост в этом сегменте составил впечатляющие 65 % год к году. Нередко в таких системах применяются технологии передачи тепла в системы отопления зданий или подогрева различных объектов и вроде бассейнов. Комбинация воздушного и жидкостного охлаждения позволяет создавать эффективные и сбалансированные системы терморегулирования.

Как заявляют в Omdia, в 2023 году произошла консолидация рынка, в результате основные прибыли получают считанные компании. Впрочем, Omdia расширила свой обзор, который теперь включает 49 вендоров вместо 40. Аналитики добавили китайских OEM-производителей и поставщиков компонентов прямого жидкостного охлаждения. Лидерами рынка остались Vertiv, Johnson Controls и Stulz, причём Veritiv увеличила долю на 6 % благодаря устойчивому росту спроса в Северной Америке и партнёрству с облачными операторами.

Источник изображения: Omdia

Рост рынка систем охлаждения для ЦОД ранее ограничивался преимущественно недостатком производственных мощностей, в частности, нехваткой компонентов вроде блоков распределения охлаждения (CDU), на спрос производители давно не жалуются. Поставщики всеми силами стремились удовлетворить спрос, но взрывной рост потребностей операторов ЦОД всё равно создал дефицит на определённых участках цепочек поставок. К счастью, в 2024 году прогнозируется улучшение ситуации.

Источник изображения: Omdia

Также Omdia отмечает рост доли систем жидкостного охлаждения. Этот рынок активно развивается в Северной Америке и Китае, в дело вступают всё новые вендоры, а прежние участники рейтингов расширяют свою деятельность. На рынке СЖО, объём которого близок к $1 млрд, лидером остаётся CoolIT, предлагающее прямое жидкостное охлаждение. Второе место занимает Sugon, преимущественно занимающаяся системами иммерсионного охлаждения, а замыкает тройку Lenovo, комплектующая некоторые свои системы фирменной СЖО.

Системы терморегулирования неизбежно развиваются под влиянием ИИ-решений и из-за росту требований к экоустойчивости серверного оборудования и ЦОД в целом. Несмотря на прогнозы роста, будет наблюдаться нехватка СЖО и недостаток экобезопасных технологий. Ожидается, что в будущем внедрение оптимизированных с помощью ИИ систем охлаждения, договоры о стратегическом партнёрстве между вендорами, а также рост энергоэффективных и экоустойчивых решений определят развитие индустрии. В результате технологии охлаждения будут соответствовать потребностям в охране окружающей среды.

Власти Норвегии, по сообщению ресурса HPC Wire, подписали контракт стоимостью Kr225 млн ($21 млн) с корпорацией HPE, предусматривающий создание нового национального суперкомпьютера A2 (постоянное имя системе дадут позже). Он станет самым мощным в истории страны и значительно ускорит исследования и разработки в различных областях, в том числе в сфере ИИ.

За закупку и эксплуатацию НРС-систем в Норвегии отвечает государственная компания Sigma2 AS. Вычислительные услуги предоставляются в сотрудничестве с университетами Бергена, Осло, Тромсё, а также Норвежским университетом естественных и технических наук (NTNU) в рамках проекта NRIS.

В основу нового суперкомпьютера ляжет платформа HPE Cray EX4000. Известно, что в состав комплекса войдут 76 узлов с четырьмя гибридными суперчипами NVIDIA GH200 (всего 304 ускорителя), 252 узла с двумя 128-ядерными AMD EPYC Turin (64 512 ядер) и 5,3-Пбайт хранилище HPE Cray ClusterStor E1000. Узлы объединит интерконнект HPE Slingshot. Ожидаемая производительность системы составит порядка 10 Пфлопс.

Источник изображения: Sigma2

Монтаж системы планируется выполнить в течение весны–лета 2025 года. Машина расположится в дата-центре Лефдаль (Lefdal Mine Datacenter, LMD), развёрнутом на базе бывшего рудника. Этот объект имеет большую площадь и предоставляет гибкие возможности в плане масштабирования. Новый суперкомпьютер HPE станет первой национальной высокопроизводительной системой, установленной в этом ЦОД.

Источник изображения: Sigma2

Несмотря на то, что готовящийся комплекс будет значительно мощнее высокопроизводительных вычислительных систем Sigma2 предыдущего поколения, его энергопотребление окажется меньше примерно на 30 %. Для охлаждения будет использоваться холодная вода из близлежащего фьорда. Нагретая вода затем может быть направлена на нужды местных предприятий, в том числе, например, рыбных ферм.

Ожидается, что суперкомпьютер сможет удовлетворить потребности Норвегии в НРС-ресурсах в течение следующих пяти лет. Он будет доступен исследователям по всей стране. В дальнейшем суперкомпьютер может дополнительно получить 119 808 CPU-ядер и/или 224 ускорителя. В целом же Норвегия рассчитывает, что современные ЦОД станут для страны «новой нефтью».