Юлихский исследовательский центр (FZJ) в Германии раскрыл информацию о конфигурации дата-центра для первого европейского суперкомпьютера экзафлопсного класса — системы JUPITER (Joint Undertaking Pioneer for Innovative and Transformative Exascale Research).

Напомним, Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) заключило контракт на создание JUPITER с консорциумом, в который входят Eviden (подразделение Atos) и ParTec, немецкая компания по производству суперкомпьютерного оборудования. Ввод суперкомпьютера в эксплуатацию запланирован на осень 2024 года.

Сообщается, что JUPITER будет построен на базе модульного ЦОД, за создание которого отвечает Eviden. Этот дата-центр займёт площадь приблизительно 2300 м². Модульная архитектура на основе контейнеров обеспечит ряд преимуществ: значительное сокращение времени планирования и монтажа, а также снижение затрат на строительство и эксплуатацию. Кроме того, в дальнейшем облегчится модернизация, тогда как инфраструктура электропитания и охлаждения может гибко адаптироваться к новым требованиям. Eviden заявляет, что благодаря модульности сроки поставки необходимых узлов сократятся на 50 %.

Источник изображения: Eviden

Конфигурация ЦОД включает около 50 взаимозаменяемых модулей, в том числе 20 IT-контейнеров, 15 контейнеров энергоснабжения, а также примерно 10 логистических контейнеров со складскими помещениями, инженерными комнатами и пр. В состав IT-модулей войдут по два контейнера, объединяющих 20 стоек платформы BullSequana XH3000 с прямым жидкостным охлаждением. Модули данных будут содержать четыре контейнера с накопителями.

Модульный ЦОД финансируется Федеральным министерством образования и исследований (BMBF). При этом BMBF и Министерство культуры и науки земли Северный Рейн-Вестфалия (MKW NRW) обеспечат равное финансирование технического оборудования. В состав суперкомпьютера войдут модули NVIDIA Quad GH200, а также энергоэффективные высокопроизводительные Arm-процессоры SiPearl Rhea. Быстродействие на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность «незначительно превысит 1 Эфлопс».

21 декабря в Суперкомпьютерном центре Барселоны — Centro Nacional de Supercomputación (BSC-CNS) — в торжественной обстановке официально запустили европейский суперкомпьютер MareNostrum 5 производительностью 314 Пфлопс. В церемонии, посвящённой машине, созданной в рамках проекта European High Performance Computing Joint Undertaking (EuroHPC JU), принял участие председатель правительства Испании.

MareNostrum 5 представляет собой крупнейшую инвестицию, когда-либо сделанную Европой в научную инфраструктуру Испании — суммарно €202 млн, из которых €151,4 млн ушло на приобретение суперкомпьютера. Финансирование было проведено EuroHPC JU через Фонд ЕС «Соединение Европы» и программу исследований и инноваций «Горизонт 2020», а также государствами-участниками: Испанией (через Министерство науки, инноваций и университетов и правительство Каталонии), Турцией и Португалией.

С запуском MareNostrum 5 заметно укрепились позиции BSC в качестве одного из ведущих суперкомпьютерных центров мира с более чем 900 сотрудниками, занимающимися исследования в области информатики, наук о жизни и о Земле, а также вычислительных систем для науки и техники. Обладая максимальной общей производительностью 314 Пфлопс, MareNostrum 5 присоединяется к двум другим системам EuroHPC: Lumi (Финляндия) и Leonardo (Италия), тоже являющихся суперкомпьютерами предэкзафлопсного класса, единственными системами такого уровня в Европе.

Источник изображений: BSC

Eviden (Atos) была выбрана в качестве основного поставщика, но в создании машины приняли участие Lenovo, IBM, Intel и NVIDIA, а также Partec. Как отмечено в пресс-релизе, уникальная архитектура MareNostrum 5 была создана для того, чтобы предоставить исследователям лучшие из доступных технологий. Это гетерогенная машина, сочетающая в себе две отдельные системы: раздел общего назначения (GPP), предназначенный для классических вычислений, и GPU-раздел (ACC), ориентированный на ИИ. Обе системы по отдельности входят в первую двадцатку TOP500, занимая 19-е и 8-е места соответственно.

Раздел общего назначения (GPP) является крупнейшим в мире x86-кластером на базе Intel Xeon Sapphire Rapids. Эта часть суперкомпьютера имеет пиковую производительность 45,9 Пфлопс. Система, произведённая Lenovo, специально разработана для решения сложных научных задач с разделением ресурсов, что обеспечивает большую гибкость и повышает эффективность системы, поскольку разные пользователи или проекты могут использовать её одновременно. GPP имеет 6408 стандарных узлов следующей конфигурации:

• 2 × Intel Xeon 8480+ (56 ядер, 2 ГГц);
• 256 Гбайт DDR5 (216 узлов с 1 Тбайт RAM);
• NVMe SSD на 960 Гбайт;
• 1 × InfiniBand NDR200, общий для двух узлов (SharedIO, 100 Гбит/с на узел).

Дополнительно система имеет 72 узла с двумя 56-ядерными Xeon Max (1,7 ГГц) и набортной памятью HBM2e объёмом 128 Гбайт.

GPU-раздел (ACC) производства Eviden является третьим по мощности в Европе и восьмым в мире по версии TOP500, с пиковой производительностью 260 Пфлопс. Он основан на 4480 ускорителях NVIDIA H100. Раздел имеет 1120 узлов, каждый из которых включает:

• 2 × Intel Xeon 8460Y+ (32 яда, 2,3 ГГц);
• 512 Гбайт DDR5;
• 4 × NVIDIA H100 с 64 Гбайт HBM3;
• NVMe SSD на 460 Гбайт;
• 4 × InfiniBand NDR200.

Общая ёмкость хранилища MareNostrum 5 составляет 650 Пбайт, из которых, 402 Пбайт приходятся на LTO, 248 Пбайт — на HDD, а остальное — на NVMe SSD. Задействована ФС IBM Spectrum Scale. Машина использует интерконнект InfiniBand NDR200, объединяющий более 8000 узлов. Можно заметить, что NVIDIA предоставила BSC не совсем стандартные решения. В будущем ожидается появление ещё одного GPP-раздела на базе NVIDIA Grace, а вот расширение ACC узлами с Xeon Emerald Rapids и Rialto Bridge не состоится.

Благодаря увеличенной вычислительной мощности MareNostrum 5 позволяет решать всё более сложные задачи. Например, климатические модели получат более высокое разрешение, что сделает прогнозы гораздо более точными и надёжными. Также появится возможность решать гораздо более сложные проблемы в области ИИ и Big Data. Отдельное внимание уделено поддержке европейских медицинских исследований в области создания новых лекарств, разработки вакцин и моделирования распространения вирусов.

Суперкомпьютер также станет важнейшим инструментом для материаловедения и инженерии, включая проектирование и оптимизацию самолётов, развитие более безопасной, экологически чистой и эффективной авиации. Аналогичным образом, машина будет использоваться для моделирования процессов энергогенерации, включая ядерный синтез.

В ближайшие месяцы MareNostrum 5 объединится с двумя квантовыми компьютерами: первой системой испанской суперкомпьютерной сети (RES), которая является частью инициативы Quantum Spain, и одним из первых европейских квантовых компьютеров EuroHPC JU. Оба квантовых компьютера будут одними из первых, которых запустили в Южной Европе.

Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) объявило конкурс по выбору организаций, которым предстоит заняться интеграцией и эксплуатацией новых квантовых компьютеров. Заявки принимаются до 31 марта 2024 года.

Сообщается, что в наступающем году EuroHPC JU планирует ввести в эксплуатацию как минимум две новые квантовые системы — комплексы EuroQCS-Poland и Euro-Q-Exa. Европейский союз выделит на эти проекты €20 млн, а дополнительное финансирование поступит от государств-участников EuroHPC JU.

Источник изображения: pixabay.com

EuroQCS-Poland — квантовый компьютер на основе ловушек ионов. Система будет размещена в Познаньском суперкомпьютерном и сетевом центре (PSNC) в Польше и интегрирована в местную НРС-инфраструктуру. Комплекс будет доступен широкому кругу европейских пользователей — от научного сообщества до промышленности и государственного сектора. Общая стоимость проекта оценивается в €15,5 млн.

В свою очередь, Euro-Q-Exa будет представлять собой квантовый компьютер, основанный на сверхпроводящих кубитах. На первом этапе конфигурация предусматривает использование 50 физических кубитов с последующим расширением до 100 кубитов или более. Система будет смонтирована в Суперкомпьютерном центре Лейбница (LRZ) в Германии. Затраты на проект составят приблизительно €42,71 млн.

В 2022 году, напомним, предприятие EuroHPC JU приняло решение о размещении первых квантовых компьютеров в Чехии, Германии, Испании, Франции, Италии и Польше. А в октябре 2023-го был объявлен тендер на создание платформы для бесшовного объединения всех европейских суперкомпьютеров и квантовых систем, а также инфраструктуры хранения данных.

В 2024 году в Юлихском исследовательском центре (FZJ) в Германии заработает вычислительный комплекс Jupiter — первый европейский суперкомпьютер экзафлопсного класса. Профессор Томас Липперт (Thomas Lippert; на фото ниже) из FZJ рассказал об особенностях конфигурации этой системы.

Ранее сообщалось, что в состав Jupiter будет включён высокомасштабируемый блок ускорителей (Booster). Речь идёт об использовании платформы Eviden BullSequana XH3000 с прямым жидкостным охлаждением, а в состав каждого узла войдут модули NVIDIA Quad GH200. Общее количество суперчипов GH200 Grace Hopper составит почти 24 тыс.

Блок Booster предназначен для решения особо ресурсоёмких задач. Как сообщил господин Липперт, второй составляющей НРС-комплекса станет универсальный блок cCuster, который сможет поддерживать приложения всех типов: это, в частности, операции с высокой интенсивностью использования данных. Оба блока можно будет использовать по отдельности или вместе, что позволит добиться максимальной эффективности при реализации различных проектов.

В основе cCuster — энергоэффективные высокопроизводительные Arm-процессоры SiPearl Rhea. Эти изделия обеспечивают высокое соотношение производительности к пропускной способности — 0,5 байт/флоп. Поэтому процессоры хорошо подходят для сложных приложений с интенсивным использованием данных.

Источник изображения: FZJ

Все вычислительные узлы Jupiter подключены к высокопроизводительной сети NVIDIA Mellanox InfiniBand. Быстродействие на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность «незначительно превысит 1 Эфлопс». Общая стоимость проекта составит €273 млн, включая доставку, установку и обслуживание Jupiter.

Компания NVIDIA в ходе конференции по высокопроизводительным вычислениям SC23 сообщила о том, что её суперчип GH200 Grace Hopper станет одной из ключевых составляющих НРС-системы Jupiter — первого европейского суперкомпьютера экзафлопсного класса.

Узел BullSequana XH3000 (Источник здесь и далее: NVIDIA)

Jupiter — проект Европейского совместного предприятия по развитию высокопроизводительных вычислений (EuroHPC JU). Комплекс расположится в Юлихском исследовательском центре (FZJ) в Германии. В создании суперкомпьютера участвуют NVIDIA, ParTec, Eviden и SiPearl. Архитектура системы модульная, что позволяет адаптировать её под разные классы задач.

В основу одного из основных блоков Jupiter ляжет платформа Eviden BullSequana XH3000 с прямым жидкостным охлаждением, а в состав каждого узла войдут модули Quad GH200. Общее количество суперчипов составит 23752. В качестве интерконнекта будет применяться NVIDIA Quantum-2 InfiniBand. Быстродействие на операциях обучения ИИ составит до 93 Эфлопс, а FP64-производительность должна достичь 1 Эфлопс. При этом общая потребляемая мощность Jupiter составит всего 18,2 МВт.

Применять систему Jupiter планируется для решения наиболее сложных задач. Среди них — моделирование климата и погоды в высоком разрешении (на базе NVIDIA Earth-2), создание новых лекарственных препаратов (NVIDIA BioNeMo и NVIDIA Clara), исследования в области квантовых вычислений (NVIDIA cuQuantum и CUDA Quantum), промышленное проектирование (NVIDIA Modulus и NVIDIA Omniverse). Ввод Jupiter в эксплуатацию запланирован на 2024 год.

Британский разработчик квантовых систем ORCA Computing выбран Познаньским центром суперкомпьютерных и сетевых технологий (PSNC) в Польше в качестве поставщика двух квантовых компьютеров. Эти системы призваны ускорить решение задач в ряде научных и прикладных областей, включая биологию, химию и машинное обучение.

Речь идёт о квантовых фотонных компьютерах ORCA Computing PT-1. Они будут установлены в центре высокопроизводительных вычислений PSNC в Познане в ноябре и декабре нынешнего года и интегрированы в существующую HPC-инфраструктуру. Ситсемы закуплены в рамках проекта EuroHPC-PL.

Квантовые компьютеры PT-1 используют источник одиночных фотонов и программируемые сети светоделителей для реализации квантовой памяти. Результаты вычислений представляют собой сложную статистику, где количество фотонов отражает вероятность распределения. Система может быть интегрирована с классическими HPC-платформами. Доступен специализированный комплект для разработки, который поддерживает гибридные квантово-классические алгоритмы с QPU и GPU.

Источник изображения: ORCA Computing

Технология ORCA Computing предусматривает использование одиночных фотонов в качестве носителя. Это не только позволяет системе естественным образом взаимодействовать с оптическими сетями, но также обеспечивает модульность и гибкость архитектуры с возможностью последующего обновления. Задействована проприетарная технология мультиплексирования для управления синхронизацией, частотой и маршрутизацией одиночных фотонов: данная методика позволяет достигать высокой плотности данных, что даёт возможность осуществлять полномасштабные квантовые вычисления с гораздо меньшим количеством компонентов.

Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) объявило тендер на развертывание и эксплуатацию платформы, которая объединит все НРС-ресурсы Европы и обеспечит предоставление безопасного доступа к ним для широкого круга государственных и частных пользователей на территории региона.

Речь идёт о формировании «ведущей федеративной и безопасной экосистемы», объединяющей европейские суперкомпьютеры и квантовые компьютеры. Инициатива, как ожидается, позволит более полно задействовать имеющиеся вычислительные мощности для развития науки и промышленности в Европе.

Победителю тендера предстоит разработать и ввести в эксплуатацию платформу для бесшовного объединения суперкомпьютеров и квантовых систем, а также инфраструктуры хранения данных. На базе платформы должны предоставляться услуги с высоким уровнем безопасности. Конечная цель инициативы — создание единой точки доступа к вычислительным мощностям и сервисам обработки данных, управляемым проектом EuroHPC JU. Иными словами, любой клиент получит необходимые ему ресурсы через унифицированный портал.

Источник изображения: europa.eu

Говорится, что платформа должна быть безопасной, масштабируемой, гибкой и ориентированной на пользователя. Адаптируемая конфигурация позволит подстраиваться под широкий спектр задач, приложений и потребностей пользователей. Отметим, что в рамках проекта EuroHPC JU разрабатывается первый европейский суперкомпьютер экзафлопсного класса и сразу шесть квантовых компьютеров. На днях к проекту EuroHPC JU присоединился Израиль.

Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) объявило о том, что по итогам заседания совета управляющих, состоявшегося в Люксембурге, принято решение о присоединении к проекту Израиля. Отмечается, что Европейский союз и Израиль имеют долгую историю успешного научно-технического сотрудничества. В частности, Израиль участвует в рамочных программах исследований и инноваций Евросоюза с 1996 года.

EuroHPC JU — это совместная инициатива ЕС, европейских стран и частных партнёров по развитию экосистемы высокопроизводительных вычислений (HPC) в Европе. Главная цель проекта заключается в том, чтобы развивать, расширять и поддерживать в Евросоюзе ведущую в мире «федеративную, безопасную и гиперсвязанную» инфраструктуру суперкомпьютеров и квантовых вычислений. В частности, уже создаются шесть квантовых компьютеров — в Чехии, Франции, Германии, Италии, Польше и Испании.

Источник изображения: europa.eu

Сообщается, что Израиль стал 34-й страной, поддержавшей инициативу EuroHPC JU. Кроме того, в декабре 2021-го Израиль стал участником проекта Horizon Europe, нацеленного на поддержку исследований и инноваций. Таким образом, Израиль присоединяется к шести другим странам-членам EuroHPC JU, которые участвуют в программе Horizon Europe и при этом не являются государствами Европейского союза. Это Исландия, Черногория, Северная Македония, Норвегия, Сербия и Турция. А вот Великобритания, стоявшая у истоков EuroHPC, покинула организацию и теперь самостоятельно развивает HPC-сферу.

Добавим, что в рамках проекта EuroHPC JU ведётся создание первого европейского суперкомпьютера экзафлопсного класса: комплекс под названием Jupiter получит неназванные ускорители NVIDIA и энергоэффективные высокопроизводительные Arm-процессоры SiPearl Rhea. Строительство системы стартует в начале 2024 года, а затраты на её создание составят не менее €273 млн.

Европейское совместное предприятие по развитию высокопроизводительных вычислений (EuroHPC JU) заключило контракт на создание НРС-комплекса Jupiter с консорциумом, в который входят Eviden (подразделение IT-услуг французской корпорации Atos) и ParTec, немецкая компания по производству суперкомпьютерного оборудования.

Проект Jupiter был анонсирован ещё в июне 2022 года. Речь идёт о создании первого в Европе суперкомпьютера экзафлопсного класса. Система расположится в Юлихском исследовательском центре (FZJ) в Германии. В основу ляжет специализированная модульная архитектура на базе платформы Eviden BullSequana XH3000 с прямым жидкостным охлаждением.

По оценкам, общая стоимость проекта составит €273 млн, включая доставку, установку и обслуживание Jupiter. Половина средств поступит непосредственно от EuroHPC JU, а остальная часть — от Федерального министерства образования и исследований Германии и Министерства культуры и науки земли Северный Рейн-Вестфалия. Eviden полагает, что создание суперкомпьютера обойдётся суммарно в €500 млн с учётом затрат на производство системы и её эксплуатацию в течение пяти лет. Строительство НРС-комплекса стартует в начале 2024 года.

Источник изображения: europa.eu

Полностью характеристики Jupiter пока не раскрываются. Но говорится, что суперкомпьютер будет состоять из высокомасштабируемого блока ускорителей (Booster) и тесно связанного с ним кластера общего назначения (Cluster). В состав первого войдут неназванные ускорители NVIDIA и решения Mellanox. Говорится об использовании более 260 км высокопроизводительных кабелей, что обеспечит пропускную способность сети свыше 2000 Тбит/с. В свою очередь, модуль Cluster получит энергоэффективные высокопроизводительные Arm-процессоры SiPearl Rhea, которые специально разработаны для европейских суперкомпьютеров.

Ожидается, что производительность Jupiter превысит 1 Эфлопс. Для сравнения: в нынешнем рейтинге TOP500 самым быстрым европейским суперкомпьютером является Lumi в Финляндии. Этот комплекс занимает в списке третье место с быстродействием 309,1 Пфлопс (пиковый показатель достигает 428,7 Пфлопс). Таким образом, Jupiter превзойдёт Lumi по производительности более чем в три раза.

Выбор EuroHPC JU в пользу Arm-процессоров SiPearl Rhea — разочарование для AMD и Intel. В частности, Intel в 2022 году объявила о намерении инвестировать €33 млрд в создание исследовательских центров и производственных объектов на территории Европы, включая Германию, Францию, Ирландию, Италию, Польшу и Испанию. Модульная конструкция Jupiter предполагает, что в будущем к системе могут быть добавлены дополнительные узлы, в частности, на процессорах х86, но пока о таких планах ничего не говорится. В любом случае Европа стремится к аппаратной независимости, а поэтому выбор чипов Rhea для Jupiter не является неожиданным.

Как и все суперкомпьютеры EuroHPC, комплекс Jupiter будет доступен широкому кругу пользователей в научном сообществе, промышленности и государственном секторе на территории Европы. Мощности системы планируется использовать для задач ИИ, высокоточного моделирования, медицинских исследований, изучения глобальных изменений климата, разработки передовых материалов и других ресурсоёмких задач.

Европейский Союз продолжает активно развивать собственное видение суперкомпьютеров ближайшего будущего, в основу которых ляжет архитектура RISC-V. За три с половиной года работы проекта Marenostrum Experimental Exascale Platform (MEEP) создана новая платформа, детально описывающая различные блоки и свойства таких HPC-систем.

Выбор микроархитектуры RISC-V в качестве основы MEEP вполне оправдан — она является открытой и позволяет разработчикам не зависеть от проприетарных наборов инструкций и аппаратных решений. Таким образом ЕС планирует достигнуть автономии в сфере супервычислений, обзаведясь собственной платформой.

Высокоуровневое описание эмулируемого ускорителя

В основе проекта MEEP лежит ядро Accelerated Memory and Compute Engine (ACME), изначально спроектированное с прицелом на применение высокоскоростной памяти HBM3 и состоящее из тайлов памяти (Memory Tile) и вычислительных тайлов VAS, объединённых меш-интерконнектом. Воплощение дизайна ACME в реальный кремний пока ещё дело будущего, но уже очевидно, что процессоры, разработанные в рамках проекта MEEP, будут иметь чиплетную компоновку.

Архитектура ACME и её строительные блоки

В конструкции ACME на долю Memory Tile выпадают все операции с подсистемами памяти, включая построение иерархических массивов, использующих разные типы памяти, в том числе MRAM и HBM3. Модули VAS включают себя по 8 процессорных ядер со своими разделами L2-кеша. Каждое такое ядро состоит из нескольких отдельных блоков: скалярного RISC-V, блока векторных операций, а также блоков ускорителей двух типов — SA-HEVC для обработки видео и SA-NN для нейросетевых задач, в частности, инференса.

Схема работы ускорителей в составе блоков VAS

По сути, каждый модуль VAS представляет собой вполне законченный многоядерный процессор RISC-V, способный работать со всеми современными форматами данных, автоматически распознающий расширенные инструкции и выполняющий их с помощью соответствующих ускорителей в своём составе.

Платформа, созданная в рамках проекта MEEP, уже функционирует как эмулируемый с помощью FPGA Xilinx полноценный прототип. Он позволяет не только вести разработку и отладку ПО для новой европейской суперкомпьютерной экосистемы, но и производить валидацию аппаратных компонентов для будущих ускорителей/процессоров с архитектурой ACME.