Хотя «вечные» перфторалкильные и полифторалкильные вещества (PFAS) широко используются в эффективных двухфазных системах погружного охлаждения ЦОД, они токсичны. Но, похоже, запрет на их использование в Евросоюзе откладывается. Как сообщает DataCenter Dynamics, ссылаясь на данные утечки одного из документов, запрет на использование PFAS в Евросоюзе, возможно, не будет реализован или же будут введены незначительные ограничения.

Хотя в рамках «Зелёной сделки» 2020 года Евросоюзе предложил запретить от 7 до 12 тыс. химикатов, включая PFAS, данные утечки свидетельствуют, что евробюрократы готовы пожертвовать планами под давлением представителей промышленности, настаивающих, что PFAS (и другие вещества) необходимы для технологий, обеспечивающих нулевой углеродный выброс. Ранее «сделка» предусматривала запрет PFAS, предположительно являющихся канцерогенами и влияющих на репродуктивную функцию человека.

Источник изображения: Huawei

Согласно документам, попавшим в руки журналистам, речь уже может идти о запрете не более половины перечня токсичных химикатов. Документ, попавший в руки к журналистам, датирован 13 января текущего года, а правила должны вступить в силу ещё до начала 2024. Ожидалось, что закон REACH разрешит использование попавших в перечень химических веществ, только в случае, если их использование будет «необходимым». Но теперь, судя по всему, политики поддались давлению бизнеса.

Расчёты показали, что запрет на химикаты позволит ежегодно экономить €11–31 млрд на лечении рака и ожирения, тогда как промышленности такой запрет обойдётся всего в €0,9–2,7 млрд. Тем не менее, приостановить введение ограничительных норм призвал президент Франции Эммануэль Макрон (Emmanuel Macron), ссылаясь на необходимость помощи промышленному сектору. Его поддерживают и другие политики, негативно оценивающие стоимость введения новых правил для бизнеса.

PFAS применяются не только в СЖО, но и в других отраслях — например, при выпуске полупроводников. Ранее появилась информация, что регулирование оборота PFAS и окончательный отказ 3M от их выпуска могут со временем значительно повлиять на будущее погружных СЖО — несмотря на их эффективность, со временем от них могут отказаться даже гиперскейлеры, чтобы не терпеть репутационного ущерба.

Погружные (иммерсионные) системы жидкостного охлаждения имеют целый ряд преимуществ перед классическими СЖО. В частности, они существенно проще по конструкции, однако и тут есть, что совершенствовать. Компания Intel опубликовала информацию о новых, высокоэффективных теплосъёмниках. Разработанные Intel материалы и конструкции позволят остудить чипы с TDP в районе 2 КВт.

Для этого предлагается использовать теплоноситель, чья температура кипения соответствует рабочему диапазону температур охлаждаемых чипов. Кипение — важная часть процесса теплопереноса в погружных СЖО. Поэтому компания разработала специальное покрытие, ускоряющее рост пузырьков и делающее процесс кипения более интенсивным. Принцип, заложенный в основу, несколько напоминает известное явление с конфетами Mentos, вызывающими бурное выделение газа из прохладительных напитков.

Прототип покрытия, разработанного Intel, показывает первые результаты. Источник здесь и далее: Intel

Ешё одна инновация — специфическая конструкция теплообменников. Обычно производители погружных СЖО используют плоские пластины, но Intel подсмотрела у морских кораллов оптимальную форму, при которой площадь для теплоотдачи в системах нового типа должна существенно возрасти. Компания надеется повысить эффективность погружных СЖО с 0,025°C/Вт до 0,010°C/Вт.

Процесс парообразования с обычным покрытием (слева) и с разработанным Intel. Разница в количестве пузырьков налицо

На развитие этой технологии Intel получила грант $1,7 млн в рамках программы COOLERCHIPS (Cooling Operations Optimized for Leaps in Energy, Reliability, and Carbon Hyperefficiency for Information Processing Systems) Министерства Энергетики США (US Department of Energy). Ранее $5-млн грант получила и NVIDIA, перед которой поставлена цель совместить системы прямого теплоотвода (direct-to-chip) с погружными в габаритах стандартной серверной стойки. Ещё $1 млн получил стартап JetCool. Также в программе участвуют HP, Raytheon и ряд университетов.

Компания OVHcloud, европейский поставщик облачных услуг, по сообщению ресурса Datacenter Dynamics, обнародовала результаты исследования, говорящие о высокой эффективности технологии гибридного жидкостного охлаждения для серверного оборудования.

Система, о которой идёт речь, предусматривает совмещение двух типов СЖО. В частности, на CPU и GPU монтируются стандартные водоблоки, которые образуют отдельный контур. При этом всё шасси целиком вместе с теплообменником помещается в резервуар с диэлектрической жидкостью.

Источник изображения: OVHcloud

Исследование показало, что такой комбинированный подход даёт возможность снизить энергопотребление дата-центра приблизительно на 20 % по сравнению с использованием исключительного водяного охлаждения. В оценке возможностей гибридной СЖО приняли участие специалисты Реймсского университета Шампань — Арденны (Франция).

Группа протестировала различные охлаждающие жидкости и пришла к выводу, что составы с низкой вязкостью обеспечивают более эффективный отвод тепла при использовании в резервуарах иммерсионных систем. В частности, при повышении вязкости примерно в два раза — с 4,6 до 9,8 мПа·с — эффективность охлаждения снизилась на 6 %.

Установлено также, что гибридная СЖО позволяет сократить энергопотребление в расчёте на сервер на 7 % в год по сравнению с обычными жидкостными системами и на 20 % по сравнению с воздушным охлаждением. При этом затрачивается от 50 до 100 мл воды в час на каждый Ватт мощности сервера.

В Министерстве энергетики США объявили о выделении $40 млн 15 вендорам и университетским лабораториям на создание технологий охлаждения, которые позволят расходовать на отвод тепла лишь 5 % от общего потребления энергии дата-центром. Как сообщает Network World, подведомственное министерству агентство Advanced Research Projects Agency–Energy (ARPA-E) инициировало программу COOLERCHIPS, в рамках которой и распределяются средства.

В агентстве считают, что в современных системах эффективность использования энергии (PUE) не должна превышать коэффициент 1,05 — из всей выделяемой ЦОД энергии не более 5 % должно тратиться на охлаждение. Хотя некоторые передовые дата-центры, использующие жидкостное или иммерсионное охлаждение, уже сегодня демонстрируют PUE соответствующего уровня, в большинстве случаев для ЦОД этот показатель, по данным Uptime Institute, в среднем составляет 1,55.

Фото: LiquidStack

В Министерстве подчёркивают, что основной целью программы является минимизация воздействие ЦОД на окружающую среду, чему и будут способствовать инвестиции. Суммы грантов для 15 получателей составляют от $1,2 млн для мелких компаний до $5 млн для бизнесов вроде NVIDIA. Деньги выделяются на разнообразные технологии охлаждения, преимущественно жидкостные, но в некоторых случаях речь идёт, например, и о новых конструктивных решениях самих ЦОД.

Например, компании Flexnode выделили $3,5 млн на разработку быстровозводимых дата-центров модульной конструкции для периферийных вычислений, которые можно будет собирать, как конструктор LEGO. Калифорнийскому университету в Дэвисе тоже выделят $3,5 млн — но уже на разработку «Комплексных модульных энергоэффективных решений для направленного охлаждения (HoMEDiCS) для периферийных вычислений». Конструкция HoMEDiCS обеспечивает теплоотвод от CPU и ускорителей с помощью контура жидкостного охлаждения и применения высокоэффективных, но недорогих теплообменников.

Наконец, NVIDIA получит $5 млн на комбинированную систему Green Refrigerant, для ультраэффективного экологичного охлаждения HPC-решений. В данном случае будет сочетаться прямое охлаждение чипов, а также одно- или двухфазное охлаждение со встроенными насосами и парожидкостным сепаратором.

Хотя сумма в $40 млн невелика в сравнении с десятками миллиардов долларов, выделенных в рамках т.н. « Закона о чипах», относительно недавно принятого в США для развития полупроводниковой отрасли, компании с удовлетворением принимают и такие средства. Кроме того, по мнению американских экспертов, США должны иметь конкурентоспособное решение для всех звеньев производственной цепочки, а полученные результаты в числе прочего могут пригодиться в государственном секторе и военной сфере.

Помимо принимаемых в всём мире мер по снижению PUE, ищутся и другие способы сохранения окружающей среды. Например, в апреле поступили данные о том, что Евросоюз поставит на учёт крупные ЦОД и в рамках Директивы по энергетической эффективности (EED) не только обяжет операторов ЦОД в Евросоюзе обеспечить свободный доступ к данным о воздействии их проектов на окружающую среду, но и заставит некоторые ЦОД отдавать избыточное тепло со своих площадок на нужды общества.

Хотя в генеративных ИИ-моделях вроде GPT-4 или Midjourney отдельные эксперты усматривают много угроз человечеству, далеко не все обращают внимание на важный фактор — не исключено, что скоро ИИ и люди будут конкурировать за обычную пресную воду. Как сообщает The Register, по прогнозам учёных, её будет всё больше требоваться для охлаждения ЦОД.

Проблема привлекла внимание учёных Калифорнийского университета в Риверсайде и Техасского университета в Арлингтоне. По оценкам исследователей, обучение языковой модели уровня GPT-3 требует использования около 700 тыс. литров воды — столько тратится на выпуск 320 электромобилей Tesla. Более того, на простой диалог из 20-50 вопросов ChatGPT требуется около 500 мл воды, а с развитием ИИ потребление воды такими системами достигнет огромных масштабов — если заранее не принять меры по оптимизации охлаждения ЦОД.

Источник изображения: Drew Dizzy Graham/unsplash.com

При этом эксперты обещают, что к середине века огромные территории в США будут страдать от засухи. Уже сейчас ЦОД крайне неохотно делятся информацией о потреблении воды, при этом используя разные системы подсчёта и, как Google, пытаясь скрыть следы в судебном порядке. В результате учёным приходится при расчётах пользоваться преимущественно косвенными данными. Впрочем, утверждается, что можно повсеместно использовать модель, разработанную SPX Cooling Technologies, и это позволит определить, сколько воды уходить на обучение и эксплуатацию языковых моделей.

Но, как считают в Dell'Oro Group, проблема на деле не в ИИ — он не испытывает настоящей жажды. В первую очередь речь идёт о рационализации систем терморегулирования. Даже от того, где находится ЦОД с ИИ, может значительно меняться потребление воды. Многие ЦОД используют не жидкостное охлаждение, а другие варианты. Например, в прошлом месяце Microsoft говорит об использовании систем с нулевым водопотреблением в ЦОД Аризоны — но они потребляют больше энергии.

Предлагается немало вариантов — от воздушного до водяного или погружного охлаждения, каждый из которых имеют свои преимущества и недостатки. Впрочем, вендоры вроде Submer и LiquidStack предлагают системы иммерсионного охлаждения, обеспечивающие PUE на уровне менее 1,05, тогда как системы воздушного охлаждения обычно обеспечивают лишь 1,4–1,5.

Источник изображения: redcharlie | @redcharlie1/unsplash.com

В научной работе приводятся не только возможные пути оптимизации систем охлаждения, но и рекомендации для того, чтобы ЦОД в принципе выделяли меньше тепла. В частности, речь идёт о том, что дата-центры стоит строить в местах с прохладным климатом вместо жарких азиатских стран, а некоторые задачи можно выполнять во второй половине дня, когда становится прохладнее. Хотя это ограничивает использование солнечных элементов питания, сам собой напрашивается вывод о применении резервных аккумуляторных источников вместо генераторов для накопления энергии днём.

Учёные считают, что залогом эффективного использования энергетических систем и охлаждения является большая прозрачность деятельности ЦОД. В Европе, например, пересматривают поправки к Директиве об энергоэффективности, которые заставят отчитываться по многим параметрам всё ЦОД кроме самых мелких. Как заявил один из учёных, «индустрия ЦОД столь скрытна, что иногда трудно получить подходящие данные для построения моделей». Впрочем, учёные опасаются, что у гиперскейлеров может не хватить времени на внедрение качественной отчётности — индустрия ИИ развивается чересчур быстро.

Исследователи из Наньянского технологического университета в Сингапуре (NTU), по сообщению ресурса Datacenter Dynamics, разрабатывают новую технологию жидкостного охлаждения серверного оборудования. Идея заключается в распылении специального диэлектрического состава на процессоры и другие компоненты с последующим испарением.

В ходе эксперимента участники проекта рассеивали жидкость на чипы в серверах. Прототип системы, разработанный под руководством профессора Вонга Тека Ненга (Wong Teck Neng), представляет собой стойку 24U, содержащую 12 серверов. Форсунки распыляют диэлектрическую жидкость на каждый CPU: состав при этом испаряется, понижая температуру чипов. Далее жидкость конденсируется и собирается для повторного использования, то есть решение функционирует в режиме замкнутого контура.

Источник изображения: NTU

Большинство серверов в современных ЦОД охлаждаются с помощью воздуха, но участники IT-рынка ищут альтернативные подходы с более высокой эффективностью. Например, компания GRC (Green Revolution Cooling) разрабатывает системы иммерсионного (погружного) однофазного жидкостного охлаждения для ЦОД. Аналогичную технологию развивают Submer и Asperitas. А компания Zutacore предлагает уникальную двухфазную жидкостную систему охлаждения, пригодную для использования совместно с чипами с теплопакетом 900 Вт и более.

Специалисты NTU утверждают, что их подход, в отличие от погружных или двухфазных СЖО, не требует применения больших резервуаров, трубопроводов и радиаторов. К тому же предложенное решение легко масштабируется и адаптируется к современным дата-центрам. О типе используемой диэлектрической жидкости ничего не сообщается.

Компания LiquidStack, специализирующаяся на разработке систем погружного жидкостного охлаждения, сообщила о получении инвестиций от Trane Technologies. Привлечённые средства, как отмечается, помогут в продвижении решений LiquidStack, что позволит значительно сократить углеродный след дата-центров, уменьшить потребление воды и снизить общее негативное воздействие на окружающую среду.

LiquidStack является одним из пионеров на рынке двухфазных иммерсионных СЖО. Компания заявляет, что её продукты дают возможность понизить энергопотребление на 40 % по сравнению с воздушным охлаждением, сократить капитальные затраты на 33 %, уменьшить совокупную стоимость владения на 32 % и обеспечить экономию свободных площадей в ЦОД до 69 %.

Источник изображения: LiquidStack

О размере инвестиций со стороны Trane Technologies ничего не сообщается. Но отмечается, что деньги будут направлены прежде всего на расширение производства, включая открытие предприятия в США. В состав этого объекта войдут научно-исследовательские лаборатории, испытательная площадка и центр обучения специалистов по обслуживанию. Полученные деньги также будут направлены на разработку передовых диэлектрических жидкостей, маркетинг и расширение каналов сбыта.

Предполагается, что данные инициативы повысят спрос на решения LiquidStack среди гиперскейлеров, операторов облачных платформ, площадок колокации и создателей систем периферийных вычислений. При этом клиенты Trane и LiquidStack будут иметь доступ к более широкому спектру комплексных решений для организации эффективного охлаждения ЦОД.

Компания Microsoft пообещала использовать вместо водяного охлаждения, применяемого в ЦОД, расположенных в Финиксе (Аризона, США), воздушное на новых местных объектах. Как сообщает DataCenter Dynamics, город просто не в состоянии перерабатывать больше сточных вод и очищать стоки с дата-центров компании до безопасного для людей состояния. Ожидается, что компания потратит более $40 млн на создание в городе дополнительной инфраструктуры для обработки сточных вод — обновлённое соглашение с городскими властями одобрено на прошлой неделе.

Как сообщают представители города, водяное охлаждение будут использовать только три первых ЦОД, все последующие дата-центры будут применять воздушное охлаждение, поскольку общее количество растворённых в воде веществ (TDS) после цикла охлаждения слишком высоко и очистка такой воды обойдётся слишком дорого, а воды для сохранения загрязнений на безопасном уровне потребуется слишком много. Известно, что пока построен первый ЦОД, второй находится на стадии завершения, а третий скоро начнут возводить. Всего же компания намерена построить пять ЦОД в данном кампусе.

Источник изображения: Alexander Schimmeck/unsplash.com

При этом мощностей городской канализации и местной инфраструктуры водоочистки не вполне достаточно для очистки большего количества сточных вод. При этом компания не приняла достаточных мер для снижения объёма растворённых веществ, создания систем контроля сбросов и хранения отходов, а в ЦОД вода циркулирует по системе охлаждения как минимум дважды, что повышает объём растворённых в ней веществ и увеличивает нагрузку на очистную инфраструктуру города, которая к такому объёму и качеству сточных вод оказалась попросту не готова.

Источник изображения: Erda Estremera/unsplash.com

Более того, компания должна построить дополнительную линию сброса отходов к концу августа 2024 года, а если это не удастся, будет хранить их на территории кампуса. Также она должна будет построить новые водопроводные линии, если это будет необходимо и потратит дополнительные десятки миллионов на расширение городских очистных сооружений. Ещё в 2020 году сообщалось, что Microsoft самостоятельно построит установки для очистки сточных вод, в Массачусетсе, тоже из-за слишком высокой концентрации минералов.

В конце лета 2022 года Microsoft оказалась в центре скандала в Нидерландах, когда выяснилось, что её ЦОД потребляют в разы больше воды, чем планировалось. В результате местным властям пришлось ввести временный запрет на строительство новых объектов подобного назначения. Впрочем, компания намерена пересмотреть технологии, используемые её дата-центрами. Её ЦОД с испарительным охлаждением уже к 2024 году начнут потреблять на 95 % меньше воды, чем сегодня, экономя по 5,7 млрд литров ежегодно.

Перфторалкильные и полифторалкильные вещества (PFAS, «вечные химикаты»), вероятно, представляют угрозу для здоровья людей, хотя их вредоносность по многим параметрам пока не получила документальных подтверждений. Тем не менее, как сообщает портал HPC Wire, PFAS привлекают всё больше внимания регуляторов, а принятые против них в ЕС меры грозят всей полупроводниковой индустрии. Теперь этими веществами заинтересовались и американские регуляторы, включая Агентство по охране окружающей среды США (EPA), что может привести к изменению перспектив развития HPC-индустрии.

Дело в том, что PFAS используются в двухфазных системах погружного охлаждения. В частности, речь идёт о жидкостях Novec и Fluorinert компании 3M, также применяемых при выпуске полупроводников и в других сферах. В конце 2022 года 3M заявила, что намерена полностью отказаться от их производства уже к 2025 году и уже остановила крупнейший завод по их выпуску в Бельгии. Действия регуляторов и отказ 3M от производства может привести к серьёзным изменениям в HPC-индустрии, поскольку поставит под угрозу бесперебойность поставок необходимых компонентов и материалов.

Источник изображения: 3M

Но есть и другие факторы. Так, крупные международные производители СЖО будут ориентироваться на страны с наиболее жёсткими регуляторными нормами, даже если на других рынках условия более благоприятны. А крупные заказчики вроде Google и Microsoft, декларирующие достижение определённых целей по защите окружающей среды, могут отказаться от PFAS просто из-за репутационных рисков, даже если PFAS будут вполне легальны. По мнению экспертов Motivair, ужесточение контроля за PFAS может представлять угрозу широкомасштабному распространению технологий двухфазного погружного охлаждения.

Впрочем, далеко не все уверены, что новые ограничения могут изменить тренды на рынке HPC, поскольку многие игроки здесь применяют, по их словам, эффективные и безопасные системы на основе других технологий СЖО и химикатов. Как сообщает DataCenter Dynamics, по данным производителя иммерсионных СЖО LiquidStack, большее влияние ограничения на использование PFAS могут оказать на полупроводниковую отрасль, где подобные вещества широко применяются в процессе производства. В компании утверждают, что имеется немало альтернатив жидкостям 3M, хотя как минимум некоторые из них тоже являются PFAS.

Компания Castrol, производитель моторных масел и смазочных материалов, по сообщению The Register, объединила усилия с Государственным научно-исследовательским институтом Швеции (RISE) для разработки диэлектрических жидкостей нового поколения. Предполагается, что жидкости нового типа будут применяться в системах иммерсионного (погружного) охлаждения для дата-центров.

Castrol, принадлежащая группе BP, активно развивает соответствующее направление. Так, ранее компания объединила усилия с фирмой Submer для создания иммерсионных СЖО, а позднее сообщила о формировании специализированной площадки для разработки и тестирования подобных решений. Shell, ещё одна нефтегазовая компания, уже сотрудничает с другим производителем погружных СЖО, компанией Asperitas.

Источник изображения: Submer

Партнёрство с RISE, как ожидается, позволит ускорить разработку новых диэлектрических жидкостей. Castrol планирует привлечь к исследованиям шведских специалистов в области материаловедения. Кроме того, компания получит доступ к передовому оборудованию и испытательным стендам, которыми располагает RISE. Стороны также намерены сообща развивать решения для «задач, связанных с разработкой вычислительных систем следующего поколения».

«Погружное охлаждение — это быстро развивающаяся область, интерес к которой вызван глобальной потребностью в оптимизации эффективности и энергопотребления самых мощных в мире дата-центров», — отметила вице-президент BP по передовым смазочным материалам Ребекка Йейтс (Rebecca Yates).

Отметим, что осенью 2022 года инновационную жидкость для иммерсионных СЖО представила американская продовольственная компания Cargill: NatureCool 2000 на 90 % состоит из растительных масел. Кроме того, новинка является биоразлагаемой.