Стартап EdgeCloudLink (ECL), разрабатывающий автономные модульные ЦОД с питанием от водорода, возводимые методом 3D-печати, заявил о намерении построить за $8 млрд ИИ ЦОД TerraSite-TX1 ёмкостью 1 ГВт к востоку от Хьюстона (Техас). В перспективе кампус может вырасти и до 2 ГВт, но пока планируется к лету 2025 года ввести в эксплуатацию 50 МВт, что обойдётся в $450 млн. Первым клиентом станет оператор ИИ-облака Lambda Labs.

Источник изображений: EdgeCloudLink

К ЦОД будут вести три ветки газопровода, по которым и будет поставляться водород для питания кампуса. Как уточняет, DataCenter Dynamics, энергия будет обходиться в $0,08–$0,12/кВт·ч. В Lambda уверены, что новая «зелёная» инфраструктура обеспечит исследователей и разработчиков существенными вычислительными ресурсами, при этом проект позволяет снизить нагрузку ИИ-технологий на окружающую среду.

В компании неоднократно подчёркивали нулевой выброс своих ЦОД. Правда, это не касается всей цепочки поставок, поскольку новый ЦОД будет питаться от водорода, полученного методом паровой конверсии, который сопровождается выбросами углекислоты. Ожидается, что в 2025 году половина поставок будет приходиться именно на такой «серый» водород, а вторая половина — на «голубой», который тоже получается в результате паровой конверсии метана, но при этом CO₂ в процессе захватывается и сохраняется. Годом позже компания намерена перейти к соотношению 80/20 «голубого» и «зелёного» водорода, последний добывается с помощью возобновляемой энергии.

Как заявляют в ECL, пока другие говорят о создании водородных дата-центров без подключения к магистральным электросетям через 5–20 лет, только ECL готова реализовать проект в кратчайшие сроки, в том числе благодаря использованию 3D-печати для строительства объектов — на возведение, оснащение и ввод в эксплуатацию уходит менее одного года.

Первый модульный ЦОД компании ёмкостью 1 МВт был запущен в мае 2024 года на небольшой площадке в Маунтин-Вью (Калифорния). Теперь ECL ищет средства для финансирования всего $8-млрд проекта, а не только первого этапа. Ранее в этом году она уже привлекла несколько миллионов долларов инвестиций.

Alibaba Cloud представила на своей ежегодной конференции Apsara модульную архитектуру ЦОД под названием «CUBE DC 5.0», которая, по словам компании, поможет ей удовлетворить спрос на инфраструктуру ИИ за счёт повышения производительности и сокращения времени сборки новых объектов, пишет ресурс The Register.

Согласно заявлению Alibaba Cloud, архитектура CUBE DC 5.0 основана на использовании «готовых модульных конструкций» и «передовых фирменных технологий, таких как гибридная система охлаждения (wind-liquid, воздушно-жидкостная), архитектура распределения DC-питания постоянного тока». Не раскрывая подробности используемых технологий, Alibaba Cloud сообщила, что модульный подход сокращает время развёртывания ЦОД до 50 % по сравнению с традиционными методами строительства.

The Register попросил Alibaba объяснить работу «гибридной системы охлаждения wind-liquid». Предположительно, речь идёт о СЖО с охлаждающей пластиной — метод, при котором тонкие резервуары с охлаждённой жидкостью размещаются на оборудовании, а охлаждение достигается за счёт циркуляции жидкости и/или продувки воздуха по пластинам.

Источник изображений: Alibaba Cloud

Гендиректор Alibaba Cloud Intelligence Эдди Ву (Eddie Wu) заявил, что компания «вкладывает значительные средства в создание ИИ-инфраструктуры ИИ будущего». Компания анонсировала на конференции планировщик, который позволяет улучшить управление аппаратными ресурсами, повышая коэффициент использования до 90 %.

Также было представлено IaaS-предложение Enterprise Elastic Compute Service (ECS) девятого поколения, получившее улучшения для обработки приложений ИИ. В частности, были увеличены скорость работы механизма рекомендаций на 30 % и количество запросов на чтение/запись в базу данных в секунду на 17 %. Кроме того, Alibaba Cloud анонсировала ПО Open Lake, которая объединяет несколько крупных движков данных для использования их приложениями генеративного ИИ. Ещё одно новое предложение от китайской компании — DMS: OneMeta+OneOps, которое, по-видимому, объединяет и управляет метаданными из 40 различных источников данных.

Также Alibaba Cloud сообщила о выходе новых ИИ-моделей с открытым исходным кодом семейства Qwen 2.5 и новой ИИ-модели семейства Tongyi Wanxiang для преобразования текста в видео с поддержкой китайского и английского языков.

Юлихский исследовательский центр (Forschungszentrum Jülich) объявил о начале фактического создания модульного дата-центра для европейского экзафлопсного суперкомпьютера JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research). Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) заключило контракт на создание JUPITER с консорциумом, в который входят Eviden (подразделение Atos) и ParTec.

В рамках партнёрства за создание модульного ЦОД отвечает Eviden. После завершения строительства комплекс, как ожидается, объединит около 125 стоек BullSequana XH3000. Общая площадь ЦОД составит примерно 2300 м². Он будет включать порядка 50 компактно расположенных контейнеров. Благодаря модульной конфигурации ускоряется монтаж систем, а также снижаются расходы на строительство объекта.

Суперкомпьютер JUPITER получит энергоэффективные высокопроизводительные европейские Arm-процессоры SiPearl Rhea. CPU-блок будет включать 1300 узлов и иметь производительность около 5 Пфлопс (FP64). Кроме того, в состав машины войдут порядка 6000 узлов с NVIDIA Quad GH200, а общее количество суперчипов GH200 Grace Hopper составит почти 24 тыс. Именно они и обеспечат FP64-производительность на уровне 1 Эфлопс. Узлы объединит интерконнект NVIDIA InfiniBand NDR (DragonFly+).

Источник изображений: Юлихский исследовательский центр

Хранилище системы будет включать два раздела: быстрый ExaFLASH и ёмкий ExaSTORE. ExaFLASH будет базироваться на сорока All-Flash СХД IBM Elastic Storage System 3500 с эффективной ёмкостью 21 Пбайт («сырая» 29 Пбайт), скоростью записи 2 Тбайт/с и скоростью чтения 3 Тбайт/с. ExaSTORE будет иметь «сырую» ёмкость 300 Пбайт, а для резервного копирования и архивов будет использоваться ленточная библиотека ёмкостью 700 Пбайт.

«Первые контейнеры для нового европейского экзафлопсного суперкомпьютера доставлены компанией Eviden и установлены на площадке ЦОД. Мы рады, что этот масштабный проект, возглавляемый EuroHPC, всё больше обретает форму», — говорится в сообщении Юлихского исследовательского центра.

Ожидаемое быстродействие JUPITER на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность превысит 1 Эфлопс. Стоимость системы оценивается в €273 млн, включая доставку, установку и обслуживание НРС-системы. Общий бюджет проекта составит около €500 млн, часть средств уйдёт на подготовку площадки, оплату электроэнергии и т.д.

Компания Vertiv представила модульную платформу MegaMod CoolChip, предназначенную для построения дата-центров высокой плотности для задач ИИ. Утверждается, что данное решение позволяет сократить время развёртывания вычислительных мощностей примерно в два раза по сравнению с традиционным строительством.

Отмечается, что стремительное развитие генеративного ИИ, машинного обучения и НРС-приложений приводит к необходимости изменения обычной концепции ЦОД. Из-за большого количества мощных ускорителей требуется внедрение более эффективных систем охлаждения. В случае MegaMod CoolChip реализуется гибридный подход с воздушным и жидкостным охлаждением.

Инфраструктура MegaMod CoolChip может включать в себя блоки распределения охлаждающей жидкости Vertiv XDU, стойки с поддержкой СЖО Vertiv Liquid-cooled Rack, решения Vertiv Air Cooling, стоечные блоки распределения питания Vertiv rPDU и пр. Модульная архитектура MegaMod CoolChip предусматривает возможность установки до 12 стоек в ряд. Мощность каждой из них может превышать 100 кВт.

Источник изображения: Vertiv

MegaMod CoolChip поставляется в виде отдельных блоков, которые монтируются непосредственно на месте размещения дата-центра. Возможны различные варианты организации воздушно-жидкостного охлаждения. Для СЖО используется технология однофазного прямого жидкостного охлаждения Direct-To-Chip. Возможно резервирование охлаждающих систем по схеме N+1.

Исследование компании Omdia показало, что рынок готовых модульных дата-центров (PMDC) и микро-ЦОД к 2027 году достигнет $11,7 млрд. По данным пресс-службы компании, пик спроса придется на 2023–2024 гг., причиной стремительного роста спроса станет бум ИИ-технологий.

Рынок готовых, заранее собранных на производстве ЦОД включает как отдельные, так и многомодульные конструкции, которые могут выполнять как единичные функции (энергоснабжение, охлаждение), так и составлять ЦОД целиком. В Omdia рассчитывают, что в 2027 году объём продаж PMDC составит $8,6 млрд.

Крупнейшей категорией считаются предсобранные модули питания, их сбыт растёт самыми быстрыми темпами — в сравнении со всеми другими модулями, продажи которых тоже отслеживаются Omdia. Основным фактором роста является то, что именно в таких модулях нуждаются как новые, так и действующие ЦОД, требующие увеличения энергетической ёмкости.

Источник изображения: Omdia

Модульные микро-ЦОД (micro-DC) состоят или из одного или нескольких модулей, последние обычно поставляются уже в собранном состоянии. В Omdia прогнозируют, что их продажи составят в 2027 году $3,1 млрд. Такие объекты, по данным экспертов компании, подходят как облачным провайдерам, так и корпоративным клиентам. В Omdia утверждают, что подобные ЦОД на много стоек изначально использовались гиперскейлерами — предварительная сборка вдали от места установки ускоряла ввод в эксплуатацию на целевой территории. Подобные решения внедрялись как минимум с 2018 года.

Лидером на рынке PMDC является Huawei, за ней следуют Schneider Electric и Veritiv. В Северной Америке крупнейшими вендорами подобных решений являются Johnson Controls, Schneider Electric и M.C. Dean, в Западной Европе — Vertiv и Rittal, а Huawei — в Азии и Океании, а также на рынке Европы, Ближнего Востока и Африки (EMEA) в целом. Что касается рынка модульных микро-ЦОД, он гораздо более насыщеннее вендорами благодаря довольно низкому порогу вхождения. Впрочем, из здесь лидирует Huawei, ненамного от которой отстают Vertiv и DTCT.

В Omdia ожидают, что инновации в PMDC и micro-DC продолжатся. Акцент будет сделан на повышении энергетической плотности для того, чтобы обеспечить в новых ЦОД использование серверов с ресурсоёмким ИИ-оборудованием. В первую очередь ожидаются новые решения в сфере интеграции систем жидкостного охлаждения (СЖО) и аккумуляторов. В июне Omdia прогнозировала, что основной нагрузкой в ЦОД станут ИИ-приложения, которые подстегнут рост расходов на серверы.

Armada, стартап из Сан-Франциско (Калифорния, США), специализирующийся на разработке решений для периферийных вычислений, объявил об успешном раунде финансирования на $40 млн, который возглавил M12 (венчурный фонд Microsoft). С момента выхода в прошлом году из скрытого режима (stealth mode) стартап уже привлёк с учётом этой суммы более $100 млн инвестиций.

В рамках инвестиционной сделки решения Armada появятся в маркетплейсе Azure Marketplace. Как сообщил стартап, это позволит клиентам Azure придерживаться выделенного бюджета на использование решений Armada и сделает его технологию «более доступной, чем когда-либо».

Armada предлагает защищённые автономные модули ЦОД Galleon в стандартных 20″ и 40″ грузовых контейнерах, которые включают три и шесть стоек соответственно, платформу управления устройствами и вычислениями Edge и приложения Edge/AI, специально разработанные для использования на периферии и работающие локально или в облаке.

Также Armada предлагает Commander Connect, комплексную платформу для мониторинга и управления IIoT-активами, включая терминалы Starlink, собственно ЦОД Galleon и другие подключённые устройства, такие как дроны, датчики, камеры и транспортные средства. Её основное назначение — предоставить доступ к интернету и облегчить удалённое или локальное управление экосистемой через «единое окно».

Источник изображения: Armada

Как сообщает Armada, «используя надёжную инфраструктуру Azure, Commander Connect предлагает беспрецедентную масштабируемость, безопасность и производительность для периферийных вычислений корпоративного уровня». Стоимость использования Commander Edge начинается от $450 тыс./год, Commander Connect — $50 тыс./год.

Ранее Armada объявила о партнёрстве с Halliburton, Pivotel, Edarat и Skydio, а также подписала соглашение с ближневосточной фирмой Edarat Group, занимающейся инженерным консалтингом в области ЦОД и облачных сервисов, о развёртывании 10 модулей Galleon в Персидском заливе и на Ближнем Востоке, уточняет DatacenterDynamics. При этом у Microsoft есть собственное предложение в этой области — микро-ЦОД Azure MDC в 40″ контейнере.

По мере роста энергопотребления ЦОД развиваются и решения, способные компенсировать ущерб окружающей среде. Network World сообщает, что компании Hewlett Packard Enterprise (HPE) и датская Danfoss запустили серию усовершенствованных модульных дата-центров, позволяющих использовать тепло, генерируемое в процессе их работы, в любых целях. За основу была взята система утилизации «мусорного» тепла, применяемая в штаб-квартире Danfoss в Дании.

По данным Международного энергетического агентства (IEA), к 2026 году ИИ-индустрия будет потреблять на порядок больше электроэнергии, чем в 2023 году. Дата-центры всегда вырабатывали много тепла, причём по мере роста вычислительных мощностей растёт и отдача тепловой энергии. Поэтому HPE и датская инжиниринговая компания Danfoss создали готовое решение в рамках HPE IT Sustainability Services — модульную систему Data Center Heat Recovery.

Решение включает модульный дата-центр HPE (Modular Data Center) — компактный контейнер с высокой плотностью размещения оборудования с прямым жидкостным охлаждением, который, как заявляют в HPE, может быть развёрнут практически везде и позволит снизить общее потребление энергии на 20 %. Danfoss же предоставила модули отбора тепла для его передачи ближайшим зданиям и промышленным объектам. Безмасляные компрессоры Turbocor повышают эффективность систем охлаждения ЦОД при оптимистичном сценарии на целых 30 %.

Источник изображения: Danfoss

Выгода для пользователей очевидна, говорят компании, поскольку захваченное тепло позволяет не генерировать его специально. В HPE даже предложили измерять сэкономленное тепло в «негаваттах», т.к. затраты на его генерацию в данном случае отрицательны. С учётом огромных объёмов потребляемого ЦОД электричества, экономия 30 % энергии может стать существенной.

Впрочем, технология имеет определённые ограничения и пригодится не всем. Если обогревать окружающие здания нет необходимости, то никакой экономии энергии и не будет. Подобные технологии уже активно применяют как в Северной Америке, так и в Европе и других регионах. Особенно эффективны они в странах с прохладным климатом. Впрочем, такие системы пока довольно дороги, а иногда и вовсе не имеют смысла по целому ряду причин, в том числе экономических.

По сообщению Datacenter Dynamics, первый дата-центр EdgeCloudLink (ECL) емкостью 1 МВт развернут для поставщика облачных услуг Cato Digital в Маунтин-Вью, Калифорния. Строительство объекта финансировалось Molex и Hyperwise, общая сумма инвестиций составила $7 млн. В ECL заявили, что ее модульные ЦОД спроектированы с нуля для высокоплотного размещения ускорителей, спрос на которые стимулирует рост генеративных ИИ-нагрузок. При этом дата-центры ECL имеют нулевой выброс CO₂.

Для снижения стоимости и сроков развертывания модульные дата-центры могут быть построены с использованием 3D-принтеров. По словам CEO и основателя компании Юваля Бачара (Yuval Bachar), компания намерена печатать модульные конструкции на 3D-принтере за пределами площадки для размещения, поскольку это наиболее экологичный способ. Для более крупных проектов ECL может развернуть множество модульных ЦОД суммарной ёмкостью до 100 МВт, причём в течение всего 12 месяцев. Кроме того, компания предлагает свои решения по модели ЦОД-как-услуга, в этом случае она управляет построенным дата-центром от имени клиента.

Источник изображения: ECL

Энергия поступает от водородных топливных элементов, расположенных в каждом ЦОД. Вода, получающаяся в результате их работы, направляется на охлаждение оборудования. Используются теплообменники на задних дверях стоек (RDHx). Нагретая вода может использоваться для других нужд. Каждая стойка имеет мощность от 5 до 75 кВт, а в будущем при использовании прямого жидкостного охлаждения мощность можно довести до 125 кВт. ECL утверждает, что ее дата-центры имеют PUE 1,05 и могут быть развернуты практически в любом месте. ВОЛС-подключение при необходимости компания берёт на себя. Также отмечается, что ЦОД ECL имеют низкий уровень шума.

Источник изображения: ECL

Критики дата-центров, работающих на водороде, говорят, что они не так уж эффективны, поскольку сейчас добывать водород экономически выгоднее с использованием ископаемого топлива, так что итоговая экологичность подобных проектов находится под вопросом. Тем не менее, ECL намерена в течение года с небольшим развернуть 100–150 МВт для своих заказчиков, уточняет Fierce Network. По словам компании, её решения могут быть на треть и более дешевле в сравнении с традиционными дата-центрами.

Nautilus Data Technologies запустила новую серию решений для модульных дата-центров на основе разработанных ранее технологий охлаждения. По данным Datacenter Dynamics, новый проект предлагает варианты для ЦОД ёмкостью до 2,5 МВт. По словам Nautilus, EcoCore расширяет эффективность сборных конструкций и упрощает процесс строительства, позволяя интегрировать рабочее пространство с техническими помещениями и размещать MEP-компоненты (электрику, водоснабжение и вентиляцию) на крыше.

Конструкция использует четыре CDU-установки для кондиционирования, каждая из которых способна отводить до 833 кВт тепла. Система поддерживает как традиционные варианты охлаждения, так и современные жидкостные. Основной модуль электропитания (PEU) обеспечивает мощность 1250 кВт (415 В, три фазы), но есть и точно такой же резервный (N+1).

Новинка будет развёрнута в Start Campus в Синише (Португалия) — впервые за пределами собственных мощностей Nautilus. EcoCore, по словам компании, соответствует запросам Start по организации бесперебойной работы серверов высокой плотности с СЖО. Компании договорились о сотрудничестве в прошлом году и заключили «многомегаваттное» соглашение. Первый модуль EcoCore будет развёрнут в ходе первой фазы строительства кампуса Start. В Nautilus и Start заявляют, что экобезопасные технологии первой задают новый стандарт в индустрии, обеспечивая непревзойдённые эффективность и адаптивность.

Источник изображения: Nautilus

Nautilus известна прежде всего проектами плавучих ЦОД и системой охлаждения дата-центров речной или морской водой. Пока компания выступает лишь оператором ЦОД-баржи в Стоктоне (Калифорния), но планирует построить и наземный объект в Мэне. Также в работе находятся и другие проекты в США, Франции и Ирландии. Меморандумы о взаимопонимании заключены в Таиланде и на Филиппинах. Впрочем, появление EcoCore, похоже, указывает на желание стать поставщиком решений для других операторов.

Принадлежащая инвестиционному фонду Davidson Kempner и британской British Pioneer Point Partners компания Start намерена построить 495-МВт кампус площадью 60 га в Португалии. Компании заявили, что Nautilus поставит охладительные системы и для второй фазы проекта, предусматривающего расширение на 120 МВт. Ранее Start оказалась вовлечена в коррупционный скандал.

Калифорнийская Liquidstar позаботится об обеспечении удалённых сообществ — как сообщает CleanTechnica, модульные микро-ЦОД серии Waypoint обеспечат дадут местным жителям воду, электричество и интернет. Новый ЦОД Waypoint заработал в Таджуре (Джибути). Его установили в августе 2023 года, а функционировать он начал ещё в прошлом октябре.

Это уже третий объект на счету стартапа — компания поставляет не требующие подключения к электросетям ЦОД в форм-факторе транспортных контейнеров с дополнительными солнечными модулями питания. Их пользователи получают доступ к аккумуляторам, чистой воде и интернету Starlink, при этом часть ресурсов добывается буквально «из воздуха».

Источник изображения: Liquidstar

В компании утверждают, что контейнеры могут обеспечивать электричеством благодаря сдаваемым в аренду аккумуляторам более 80 домохозяйств, получать до 100 л воды в день из атмосферного воздуха с помощью специального генератора, интегрированного с системой кондиционирования вычислительных мощностей и погружной СЖО. Доступ в интернет могут получить до 1,2 тыс. человек. Заодно компания предлагает в аренду электровелосипеды, которые заряжаются от Waypoint.

Liquidstar работает над проектом в Джибути совместно с USAID и местным Министерством энергетики. Состояние Waypoint будет отслеживаться в течение двух лет для оценки жизнеспособности подобных ЦОД. Изначально Liquidstar планировала заниматься майнингом криптовалют с помощью Waypoint, параллельно обеспечивая некоторыми благами местные сообщества. Начальными инвестициями компанию обеспечили Mistletoe, TechStars, Flori Ventures, The Edgeof и Startupbootcamp Australia. На сегодня стартап привлёк около $1 млн.

Источник изображения: Liquidstar

После испытания прототипа в 2021 году Liquidstar развернула модули Waypoint в индонезийской деревне на 40 домохозяйств, а также на территории колледжа на Ямайке. Как сообщают представители стартапа, успех подобных проектов является важной вехой — доказано, что можно управлять микро-ЦОД в отдалённых местностях, параллельно обеспечивая жителей интернетом и водой. В дальнейшем планируется протестировать использование «мусорного» тепла для очистки воды.

Как утверждает Liquidstar, на сдаче в аренду аккумуляторов ($0,30/день за модуль ёмкостью 250 Вт·ч), предоставлении местным жителям доступа в интернет и вычислительным ресурсам ЦОД, а также перепродаже «углеродных кредитов», получаемых благодаря использованию солнечных элементов питания, каждый микро-ЦОД может приносить до $45 тыс./год, окупаясь за два года.