Юлихский исследовательский центр (Forschungszentrum Jülich) объявил о начале фактического создания модульного дата-центра для европейского экзафлопсного суперкомпьютера JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research). Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) заключило контракт на создание JUPITER с консорциумом, в который входят Eviden (подразделение Atos) и ParTec.

В рамках партнёрства за создание модульного ЦОД отвечает Eviden. После завершения строительства комплекс, как ожидается, объединит около 125 стоек BullSequana XH3000. Общая площадь ЦОД составит примерно 2300 м². Он будет включать порядка 50 компактно расположенных контейнеров. Благодаря модульной конфигурации ускоряется монтаж систем, а также снижаются расходы на строительство объекта.

Суперкомпьютер JUPITER получит энергоэффективные высокопроизводительные европейские Arm-процессоры SiPearl Rhea. CPU-блок будет включать 1300 узлов и иметь производительность около 5 Пфлопс (FP64). Кроме того, в состав машины войдут порядка 6000 узлов с NVIDIA Quad GH200, а общее количество суперчипов GH200 Grace Hopper составит почти 24 тыс. Именно они и обеспечат FP64-производительность на уровне 1 Эфлопс. Узлы объединит интерконнект NVIDIA InfiniBand NDR (DragonFly+).

Источник изображений: Юлихский исследовательский центр

Хранилище системы будет включать два раздела: быстрый ExaFLASH и ёмкий ExaSTORE. ExaFLASH будет базироваться на сорока All-Flash СХД IBM Elastic Storage System 3500 с эффективной ёмкостью 21 Пбайт («сырая» 29 Пбайт), скоростью записи 2 Тбайт/с и скоростью чтения 3 Тбайт/с. ExaSTORE будет иметь «сырую» ёмкость 300 Пбайт, а для резервного копирования и архивов будет использоваться ленточная библиотека ёмкостью 700 Пбайт.

«Первые контейнеры для нового европейского экзафлопсного суперкомпьютера доставлены компанией Eviden и установлены на площадке ЦОД. Мы рады, что этот масштабный проект, возглавляемый EuroHPC, всё больше обретает форму», — говорится в сообщении Юлихского исследовательского центра.

Ожидаемое быстродействие JUPITER на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность превысит 1 Эфлопс. Стоимость системы оценивается в €273 млн, включая доставку, установку и обслуживание НРС-системы. Общий бюджет проекта составит около €500 млн, часть средств уйдёт на подготовку площадки, оплату электроэнергии и т.д.

Компания Vertiv представила модульную платформу MegaMod CoolChip, предназначенную для построения дата-центров высокой плотности для задач ИИ. Утверждается, что данное решение позволяет сократить время развёртывания вычислительных мощностей примерно в два раза по сравнению с традиционным строительством.

Отмечается, что стремительное развитие генеративного ИИ, машинного обучения и НРС-приложений приводит к необходимости изменения обычной концепции ЦОД. Из-за большого количества мощных ускорителей требуется внедрение более эффективных систем охлаждения. В случае MegaMod CoolChip реализуется гибридный подход с воздушным и жидкостным охлаждением.

Инфраструктура MegaMod CoolChip может включать в себя блоки распределения охлаждающей жидкости Vertiv XDU, стойки с поддержкой СЖО Vertiv Liquid-cooled Rack, решения Vertiv Air Cooling, стоечные блоки распределения питания Vertiv rPDU и пр. Модульная архитектура MegaMod CoolChip предусматривает возможность установки до 12 стоек в ряд. Мощность каждой из них может превышать 100 кВт.

Источник изображения: Vertiv

MegaMod CoolChip поставляется в виде отдельных блоков, которые монтируются непосредственно на месте размещения дата-центра. Возможны различные варианты организации воздушно-жидкостного охлаждения. Для СЖО используется технология однофазного прямого жидкостного охлаждения Direct-To-Chip. Возможно резервирование охлаждающих систем по схеме N+1.

Исследование компании Omdia показало, что рынок готовых модульных дата-центров (PMDC) и микро-ЦОД к 2027 году достигнет $11,7 млрд. По данным пресс-службы компании, пик спроса придется на 2023–2024 гг., причиной стремительного роста спроса станет бум ИИ-технологий.

Рынок готовых, заранее собранных на производстве ЦОД включает как отдельные, так и многомодульные конструкции, которые могут выполнять как единичные функции (энергоснабжение, охлаждение), так и составлять ЦОД целиком. В Omdia рассчитывают, что в 2027 году объём продаж PMDC составит $8,6 млрд.

Крупнейшей категорией считаются предсобранные модули питания, их сбыт растёт самыми быстрыми темпами — в сравнении со всеми другими модулями, продажи которых тоже отслеживаются Omdia. Основным фактором роста является то, что именно в таких модулях нуждаются как новые, так и действующие ЦОД, требующие увеличения энергетической ёмкости.

Источник изображения: Omdia

Модульные микро-ЦОД (micro-DC) состоят или из одного или нескольких модулей, последние обычно поставляются уже в собранном состоянии. В Omdia прогнозируют, что их продажи составят в 2027 году $3,1 млрд. Такие объекты, по данным экспертов компании, подходят как облачным провайдерам, так и корпоративным клиентам. В Omdia утверждают, что подобные ЦОД на много стоек изначально использовались гиперскейлерами — предварительная сборка вдали от места установки ускоряла ввод в эксплуатацию на целевой территории. Подобные решения внедрялись как минимум с 2018 года.

Лидером на рынке PMDC является Huawei, за ней следуют Schneider Electric и Veritiv. В Северной Америке крупнейшими вендорами подобных решений являются Johnson Controls, Schneider Electric и M.C. Dean, в Западной Европе — Vertiv и Rittal, а Huawei — в Азии и Океании, а также на рынке Европы, Ближнего Востока и Африки (EMEA) в целом. Что касается рынка модульных микро-ЦОД, он гораздо более насыщеннее вендорами благодаря довольно низкому порогу вхождения. Впрочем, из здесь лидирует Huawei, ненамного от которой отстают Vertiv и DTCT.

В Omdia ожидают, что инновации в PMDC и micro-DC продолжатся. Акцент будет сделан на повышении энергетической плотности для того, чтобы обеспечить в новых ЦОД использование серверов с ресурсоёмким ИИ-оборудованием. В первую очередь ожидаются новые решения в сфере интеграции систем жидкостного охлаждения (СЖО) и аккумуляторов. В июне Omdia прогнозировала, что основной нагрузкой в ЦОД станут ИИ-приложения, которые подстегнут рост расходов на серверы.

Armada, стартап из Сан-Франциско (Калифорния, США), специализирующийся на разработке решений для периферийных вычислений, объявил об успешном раунде финансирования на $40 млн, который возглавил M12 (венчурный фонд Microsoft). С момента выхода в прошлом году из скрытого режима (stealth mode) стартап уже привлёк с учётом этой суммы более $100 млн инвестиций.

В рамках инвестиционной сделки решения Armada появятся в маркетплейсе Azure Marketplace. Как сообщил стартап, это позволит клиентам Azure придерживаться выделенного бюджета на использование решений Armada и сделает его технологию «более доступной, чем когда-либо».

Armada предлагает защищённые автономные модули ЦОД Galleon в стандартных 20′ и 40′ грузовых контейнерах, которые включают три и шесть стоек соответственно, платформу управления устройствами и вычислениями Edge и приложения Edge/AI, специально разработанные для использования на периферии и работающие локально или в облаке.

Также Armada предлагает Commander Connect, комплексную платформу для мониторинга и управления IIoT-активами, включая терминалы Starlink, собственно ЦОД Galleon и другие подключённые устройства, такие как дроны, датчики, камеры и транспортные средства. Её основное назначение — предоставить доступ к интернету и облегчить удалённое или локальное управление экосистемой через «единое окно».

Источник изображения: Armada

Как сообщает Armada, «используя надёжную инфраструктуру Azure, Commander Connect предлагает беспрецедентную масштабируемость, безопасность и производительность для периферийных вычислений корпоративного уровня». Стоимость использования Commander Edge начинается от $450 тыс./год, Commander Connect — $50 тыс./год.

Ранее Armada объявила о партнёрстве с Halliburton, Pivotel, Edarat и Skydio, а также подписала соглашение с ближневосточной фирмой Edarat Group, занимающейся инженерным консалтингом в области ЦОД и облачных сервисов, о развёртывании 10 модулей Galleon в Персидском заливе и на Ближнем Востоке, уточняет DatacenterDynamics. При этом у Microsoft есть собственное предложение в этой области — микро-ЦОД Azure MDC в 40′ контейнере.

По мере роста энергопотребления ЦОД развиваются и решения, способные компенсировать ущерб окружающей среде. Network World сообщает, что компании Hewlett Packard Enterprise (HPE) и датская Danfoss запустили серию усовершенствованных модульных дата-центров, позволяющих использовать тепло, генерируемое в процессе их работы, в любых целях. За основу была взята система утилизации «мусорного» тепла, применяемая в штаб-квартире Danfoss в Дании.

По данным Международного энергетического агентства (IEA), к 2026 году ИИ-индустрия будет потреблять на порядок больше электроэнергии, чем в 2023 году. Дата-центры всегда вырабатывали много тепла, причём по мере роста вычислительных мощностей растёт и отдача тепловой энергии. Поэтому HPE и датская инжиниринговая компания Danfoss создали готовое решение в рамках HPE IT Sustainability Services — модульную систему Data Center Heat Recovery.

Решение включает модульный дата-центр HPE (Modular Data Center) — компактный контейнер с высокой плотностью размещения оборудования с прямым жидкостным охлаждением, который, как заявляют в HPE, может быть развёрнут практически везде и позволит снизить общее потребление энергии на 20 %. Danfoss же предоставила модули отбора тепла для его передачи ближайшим зданиям и промышленным объектам. Безмасляные компрессоры Turbocor повышают эффективность систем охлаждения ЦОД при оптимистичном сценарии на целых 30 %.

Источник изображения: Danfoss

Выгода для пользователей очевидна, говорят компании, поскольку захваченное тепло позволяет не генерировать его специально. В HPE даже предложили измерять сэкономленное тепло в «негаваттах», т.к. затраты на его генерацию в данном случае отрицательны. С учётом огромных объёмов потребляемого ЦОД электричества, экономия 30 % энергии может стать существенной.

Впрочем, технология имеет определённые ограничения и пригодится не всем. Если обогревать окружающие здания нет необходимости, то никакой экономии энергии и не будет. Подобные технологии уже активно применяют как в Северной Америке, так и в Европе и других регионах. Особенно эффективны они в странах с прохладным климатом. Впрочем, такие системы пока довольно дороги, а иногда и вовсе не имеют смысла по целому ряду причин, в том числе экономических.

По сообщению Datacenter Dynamics, первый дата-центр EdgeCloudLink (ECL) емкостью 1 МВт развернут для поставщика облачных услуг Cato Digital в Маунтин-Вью, Калифорния. Строительство объекта финансировалось Molex и Hyperwise, общая сумма инвестиций составила $7 млн. В ECL заявили, что ее модульные ЦОД спроектированы с нуля для высокоплотного размещения ускорителей, спрос на которые стимулирует рост генеративных ИИ-нагрузок. При этом дата-центры ECL имеют нулевой выброс CO₂.

Для снижения стоимости и сроков развертывания модульные дата-центры могут быть построены с использованием 3D-принтеров. По словам CEO и основателя компании Юваля Бачара (Yuval Bachar), компания намерена печатать модульные конструкции на 3D-принтере за пределами площадки для размещения, поскольку это наиболее экологичный способ. Для более крупных проектов ECL может развернуть множество модульных ЦОД суммарной ёмкостью до 100 МВт, причём в течение всего 12 месяцев. Кроме того, компания предлагает свои решения по модели ЦОД-как-услуга, в этом случае она управляет построенным дата-центром от имени клиента.

Источник изображения: ECL

Энергия поступает от водородных топливных элементов, расположенных в каждом ЦОД. Вода, получающаяся в результате их работы, направляется на охлаждение оборудования. Используются теплообменники на задних дверях стоек (RDHx). Нагретая вода может использоваться для других нужд. Каждая стойка имеет мощность от 5 до 75 кВт, а в будущем при использовании прямого жидкостного охлаждения мощность можно довести до 125 кВт. ECL утверждает, что ее дата-центры имеют PUE 1,05 и могут быть развернуты практически в любом месте. ВОЛС-подключение при необходимости компания берёт на себя. Также отмечается, что ЦОД ECL имеют низкий уровень шума.

Источник изображения: ECL

Критики дата-центров, работающих на водороде, говорят, что они не так уж эффективны, поскольку сейчас добывать водород экономически выгоднее с использованием ископаемого топлива, так что итоговая экологичность подобных проектов находится под вопросом. Тем не менее, ECL намерена в течение года с небольшим развернуть 100–150 МВт для своих заказчиков, уточняет Fierce Network. По словам компании, её решения могут быть на треть и более дешевле в сравнении с традиционными дата-центрами.

Nautilus Data Technologies запустила новую серию решений для модульных дата-центров на основе разработанных ранее технологий охлаждения. По данным Datacenter Dynamics, новый проект предлагает варианты для ЦОД ёмкостью до 2,5 МВт. По словам Nautilus, EcoCore расширяет эффективность сборных конструкций и упрощает процесс строительства, позволяя интегрировать рабочее пространство с техническими помещениями и размещать MEP-компоненты (электрику, водоснабжение и вентиляцию) на крыше.

Конструкция использует четыре CDU-установки для кондиционирования, каждая из которых способна отводить до 833 кВт тепла. Система поддерживает как традиционные варианты охлаждения, так и современные жидкостные. Основной модуль электропитания (PEU) обеспечивает мощность 1250 кВт (415 В, три фазы), но есть и точно такой же резервный (N+1).

Новинка будет развёрнута в Start Campus в Синише (Португалия) — впервые за пределами собственных мощностей Nautilus. EcoCore, по словам компании, соответствует запросам Start по организации бесперебойной работы серверов высокой плотности с СЖО. Компании договорились о сотрудничестве в прошлом году и заключили «многомегаваттное» соглашение. Первый модуль EcoCore будет развёрнут в ходе первой фазы строительства кампуса Start. В Nautilus и Start заявляют, что экобезопасные технологии первой задают новый стандарт в индустрии, обеспечивая непревзойдённые эффективность и адаптивность.

Источник изображения: Nautilus

Nautilus известна прежде всего проектами плавучих ЦОД и системой охлаждения дата-центров речной или морской водой. Пока компания выступает лишь оператором ЦОД-баржи в Стоктоне (Калифорния), но планирует построить и наземный объект в Мэне. Также в работе находятся и другие проекты в США, Франции и Ирландии. Меморандумы о взаимопонимании заключены в Таиланде и на Филиппинах. Впрочем, появление EcoCore, похоже, указывает на желание стать поставщиком решений для других операторов.

Принадлежащая инвестиционному фонду Davidson Kempner и британской British Pioneer Point Partners компания Start намерена построить 495-МВт кампус площадью 60 га в Португалии. Компании заявили, что Nautilus поставит охладительные системы и для второй фазы проекта, предусматривающего расширение на 120 МВт. Ранее Start оказалась вовлечена в коррупционный скандал.

Калифорнийская Liquidstar позаботится об обеспечении удалённых сообществ — как сообщает CleanTechnica, модульные микро-ЦОД серии Waypoint обеспечат дадут местным жителям воду, электричество и интернет. Новый ЦОД Waypoint заработал в Таджуре (Джибути). Его установили в августе 2023 года, а функционировать он начал ещё в прошлом октябре.

Это уже третий объект на счету стартапа — компания поставляет не требующие подключения к электросетям ЦОД в форм-факторе транспортных контейнеров с дополнительными солнечными модулями питания. Их пользователи получают доступ к аккумуляторам, чистой воде и интернету Starlink, при этом часть ресурсов добывается буквально «из воздуха».

Источник изображения: Liquidstar

В компании утверждают, что контейнеры могут обеспечивать электричеством благодаря сдаваемым в аренду аккумуляторам более 80 домохозяйств, получать до 100 л воды в день из атмосферного воздуха с помощью специального генератора, интегрированного с системой кондиционирования вычислительных мощностей и погружной СЖО. Доступ в интернет могут получить до 1,2 тыс. человек. Заодно компания предлагает в аренду электровелосипеды, которые заряжаются от Waypoint.

Liquidstar работает над проектом в Джибути совместно с USAID и местным Министерством энергетики. Состояние Waypoint будет отслеживаться в течение двух лет для оценки жизнеспособности подобных ЦОД. Изначально Liquidstar планировала заниматься майнингом криптовалют с помощью Waypoint, параллельно обеспечивая некоторыми благами местные сообщества. Начальными инвестициями компанию обеспечили Mistletoe, TechStars, Flori Ventures, The Edgeof и Startupbootcamp Australia. На сегодня стартап привлёк около $1 млн.

Источник изображения: Liquidstar

После испытания прототипа в 2021 году Liquidstar развернула модули Waypoint в индонезийской деревне на 40 домохозяйств, а также на территории колледжа на Ямайке. Как сообщают представители стартапа, успех подобных проектов является важной вехой — доказано, что можно управлять микро-ЦОД в отдалённых местностях, параллельно обеспечивая жителей интернетом и водой. В дальнейшем планируется протестировать использование «мусорного» тепла для очистки воды.

Как утверждает Liquidstar, на сдаче в аренду аккумуляторов ($0,30/день за модуль ёмкостью 250 Вт·ч), предоставлении местным жителям доступа в интернет и вычислительным ресурсам ЦОД, а также перепродаже «углеродных кредитов», получаемых благодаря использованию солнечных элементов питания, каждый микро-ЦОД может приносить до $45 тыс./год, окупаясь за два года.

Российская компания Sitronics Group сообщила о том, что её модульные дата-центры прошли сертификацию в международном отраслевом центре Uptime Institute на соответствие уровню надёжности Tier III. Сертификат подтверждает бесперебойность работы и наличие в ЦОД отказоустойчивой инфраструктуры.

Sitronics организовала собственное производство современных модульных дата-центров весной 2023 года. Такие системы предназначены для оперативного построения полноценной цифровой инфраструктуры и быстрого наращивания вычислительных мощностей. Модульный ЦОД полностью собирается и испытывается на производстве, после чего может быть отправлен в любую точку страны в стандартных грузовых контейнерах.

Сертификат надёжности уровня Tier III получили модульные дата-центры Sitronics мощностью от 150 до 900 кВт. Документ подтверждает, что ЦОД имеет высокий уровень резервирования систем электроснабжения и охлаждения для поддержки IT-инфраструктуры в рабочем режиме, а также 12-часовой уровень автономии для обеспечения бесперебойной работы сервисов в режиме 24/7 — в том числе без перерыва на время плановых и неплановых работ по замене оборудования и компонентной базы.

Источник изображения: Sitronics Group

«Получение сертификата уровня надежности от Uptime Institute — это абсолютно добровольная процедура, которая не регламентируется необходимостью и как-то законодательно. Однако наличие этого документа — общемировой знак качества, что очень важно как для нас, так и для наших клиентов, которые могут быть уверены в ЦОД от Sitronics Group», — говорит вице-президент по технике и эксплуатации Sitronics.

Sitronics предлагает масштабируемые модули Tier III, насчитывающие 15, 30, 60, 90, 120, 150 и 180 стоек на кластер, а также крупные модули, содержащие до 750 стоек на кластер. Компоненты инженерных систем ЦОД взаимозаменяемы, а доля отечественной компонентной базы составляет около 70 %. Применяется фирменная система косвенного адиабатического охлаждения. Доступны кастомизированные решения для различных заказчиков и климатических зон. Задействовано исключительно российское ПО.

Юлихский исследовательский центр (FZJ) в Германии раскрыл информацию о конфигурации дата-центра для первого европейского суперкомпьютера экзафлопсного класса — системы JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research).

Напомним, Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) заключило контракт на создание JUPITER с консорциумом, в который входят Eviden (подразделение Atos) и ParTec, немецкая компания по производству суперкомпьютерного оборудования. Ввод суперкомпьютера в эксплуатацию запланирован на осень 2024 года.

Сообщается, что JUPITER будет построен на базе модульного ЦОД, за создание которого отвечает Eviden. Этот дата-центр займёт площадь приблизительно 2300 м². Модульная архитектура на основе контейнеров обеспечит ряд преимуществ: значительное сокращение времени планирования и монтажа, а также снижение затрат на строительство и эксплуатацию. Кроме того, в дальнейшем облегчится модернизация, тогда как инфраструктура электропитания и охлаждения может гибко адаптироваться к новым требованиям. Eviden заявляет, что благодаря модульности сроки поставки необходимых узлов сократятся на 50 %.

Источник изображения: Eviden

Конфигурация ЦОД включает около 50 взаимозаменяемых модулей, в том числе 20 IT-контейнеров, 15 контейнеров энергоснабжения, а также примерно 10 логистических контейнеров со складскими помещениями, инженерными комнатами и пр. В состав IT-модулей войдут по два контейнера, объединяющих 20 стоек платформы BullSequana XH3000 с прямым жидкостным охлаждением. Модули данных будут содержать четыре контейнера с накопителями.

Модульный ЦОД финансируется Федеральным министерством образования и исследований (BMBF). При этом BMBF и Министерство культуры и науки земли Северный Рейн-Вестфалия (MKW NRW) обеспечат равное финансирование технического оборудования. В состав суперкомпьютера войдут модули NVIDIA Quad GH200, а также энергоэффективные высокопроизводительные Arm-процессоры SiPearl Rhea. Быстродействие на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность «незначительно превысит 1 Эфлопс».