Компания NVIDIA анонсировала вычислительную платформу нового типа DGX GH200 AI Supercomputer для генеративного ИИ, обработки огромных массивов данных и рекомендательных систем. HPC-платформа станет доступна корпоративным заказчикам и организациям в конце 2023 года. Платформа представляет собой готовый ПАК и включает, в частности, наборы ПО NVIDIA AI Enterprise и Base Command.

Для платформы предусмотрено использование 256 суперчипов NVIDIA GH200 Grace Hopper, объединённых при помощи NVLink Switch System. Каждый суперчип содержит в одном модуле Arm-процессор NVIDIA Grace и ускоритель NVIDIA H100. Задействован интерконнект NVLink-C2C (Chip-to-Chip), который, как заявляет NVIDIA, значительно быстрее и энергоэффективнее, нежели PCIe 5.0. В результате, скорость обмена данными между CPU и GPU возрастает семикратно, а затраты энергии сокращаются примерно в пять раз. Пропускная способность достигает 900 Гбайт/с.

Источник изображений: NVIDIA

Технология NVLink Switch позволяет всем ускорителям в составе системы функционировать в качестве единого целого. Таким образом обеспечивается производительность на уровне 1 Эфлопс (~ 9 Пфлопс FP64), а суммарный объём памяти достигает 144 Тбайт — это почти в 500 раз больше, чем в одной системе NVIDIA DGX A100. Архитектура DGX GH200 AI Supercomputer позволяет добиться 10-кратного увеличения общей пропускной способности по сравнению с HPC-платформой предыдущего поколения.

Ожидается, что Google Cloud, Meta✴ и Microsoft одними из первых получат доступ к суперкомпьютеру DGX GH200, чтобы оценить его возможности для генеративных рабочих нагрузок ИИ. В перспективе собственные проекты на базе DGX GH200 смогут реализовывать крупнейшие провайдеры облачных услуг и гиперскейлеры. Для собственных нужд NVIDIA до конца 2023 года построит суперкомпьютер Helios, который посредством Quantum-2 InfiniBand объединит сразу четыре DGX GH200.

Компания AMD в ходе суперкомпьютерной конференции ISC 2023, по сообщению ресурса Tom's Hardware, продемонстрировала компоненты суперкомпьютера El Capitan, который после ввода в эксплуатацию сможет претендовать на звание самого высокопроизводительного комплекса в мире.

Новая НРС-машина расположится в Ливерморской национальной лаборатории им. Э. Лоуренса (LLNL) Министерства энергетики США. В основу лягут гибридные чипы Instinct MI300, а производительность превысит 2 Эфлопс (FP64). Для сравнения: самый мощный на сегодняшний день суперкомпьютер Frontier, установленный в Национальной лаборатории Окриджа, обладает быстродействием около 1,194 Эфлопс.

На ISC 2023 Бронис Р. де Супински (Bronis R. de Supinski), технический директор LLNL, показал блейд-серверы, которые войдут в состав El Capitan. Устройство, изготовленное компанией HPE, объединяет четыре модуля Instinct MI300 с жидкостным охлаждением. Решение выполнено в форм-факторе 1U.

Источник изображений: LLNL / Tom's Hardware

Супински также показал фотографию лаборатории AMD в Остине, где испытываются рабочие образцы Instinct MI300. Таким образом, как отмечается, новые чипы практически готовы для использования в коммерческих системах. В частности, ввод суперкомпьютера El Capitan в эксплуатацию запланирован на вторую половину 2023 года. Тестовые кластеры El Capitan на базе AMD EPYC Milan и Instinct MI250X ещё в прошлом году попали в TOP500.

Любопытно, что Супинкси в ходе выступления назвал Instinct MI300 несколько другим именем — Instinct MI300A. Однако не ясно, является ли это специальной модификацией для El Capitan или более формальным индексом продукта. Супински отметил, что решение может работать в нескольких разных режимах, но основная конфигурация предусматривает единый домен памяти и домен NUMA, что обеспечивает общий доступ к памяти для всех ядер CPU и GPU.

Для El Capitan предусмотрено использование фирменного хранилища Rabbit. Оно включает 4U-узлы на основе 18 быстрых SSD, которые подключены к плате Rabbit-S, обеспечивающей коммутацию с вычислительной частью. За работу СХД отвечает контроллер Rabbit-P с чипом EPYC.

Администрации по национальной ядерной безопасности США (NNSA), которая будет использовать El Capitan, пришлось модифицировать энергетическую инфраструктуру для одновременной работы нового суперкомпьютера и действующего комплекса Sierra. Общая мощность увеличена с 45 МВт до 85 МВт, а ещё 15 МВт зарезервировано для системы охлаждения. Таким образом, суммарно доступны 100 МВт, хотя El Capitan будет потреблять менее 40 МВт.

Корпорация Intel в ходе конференции ISC 2023, как сообщает AnandTech, поделилась информацией о проекте Aurora по созданию суперкомпьютера с производительностью экзафлопсного уровня. Эта система создаётся для Аргоннской национальной лаборатории Министерства энергетики США.

Изначально анонс HPC-комплекса Aurora состоялся ещё в 2015 году с предполагаемым запуском в 2018-м: ожидалось, что машина обеспечит быстродействие на уровне 180 Пфлопс. Однако реализация проекта значительно затянулась, а технические параметры платформы неоднократно менялись. Пока что развёрнуты тестовый кластер Sunspot.

Как теперь сообщается, в конечной конфигурации Aurora объединит 10 624 узла, каждый из которых будет включать два процессора Xeon Max и шесть ускорителей Ponte Vecchio. Таким образом, общее количество CPU будет достигать 21 248, число GPU — 63 744. Быстродействие FP64, как и было заявлено ранее, превысит 2 Эфлопс.

Источник изображений: Intel (via AnandTech)

Каждый процессор оперирует 64 Гбайт памяти HBM, ускоритель — 128 Гбайт. В сумме это даёт соответственно 1,36 Пбайт и 8,16 Пбайт памяти HBM с пиковой пропускной способностью 30,5 Пбайт/с и 208,9 Пбайт/с. В дополнение система сможет использовать 10,9 Пбайт памяти DDR5 с пропускной способностью до 5,95 Пбайт/с. Вместимость подсистемы хранения данных составит 230 Пбайт со скоростью работы до 31 Тбайт/с.

На сегодняшний день Intel поставила более 10 тыс. «лезвий» для Aurora, а это означает, что практически все узлы готовы к окончательному монтажу. Ввод суперкомпьютера в эксплуатацию намечен на текущий год. Для НРС-платформы готовится специализированная научная модель генеративного ИИ — Generative AI for Science, насчитывающая около 1 трлн параметров. Применять Aurora планируется для решения наиболее ресурсоёмких задач в различных областях.

Представлена очередная редакция рейтинга Green500 — списка мощнейших вычислительных систем мира, имеющих наиболее высокую энергетическую эффективность. Лидером в данном сегменте, как и полгода назад, является комплекс Henri, установленный в Научно-исследовательском институте Флэтайрон (Flatiron Institute) в США.

В состав Henri входят узлы Lenovo ThinkSystem SR670 V2 с процессорами Intel Xeon Platinum 8362 Ice Lake-SP (32 ядра; 64 потока; 2,8–3,6 ГГц; 265 Вт). Задействованы ускорители NVIDIA H100 (80 Гбайт; PCIe) и интерконнект Infiniband HDR. Быстродействие Henri составляет 2,88 Пфлопс. При этом энергетическая эффективность достигает 65,396 Гфлопс/Вт. Система применяется для решения сложных задач в областях вычислительной астрофизики, биологии, математики, неврологии и квантовой физики. Любопытно, что в рейтинге мощнейших суперкомпьютеров мира TOP500 система Henri занимает только 255-ю строку.

Источник изображения: Lenovo

На втором месте в Green500 располагается машина Frontier TDS (32-я позиция в рейтинге TOP500). Этот суперкомпьютер на базе узлов HPE Cray EX235a с чипами AMD EPYC и ускорителями AMD Instinct MI250X обладает общим быстродействием до 19,2 Пфлопс. Энергоэффективность равна 62,68 Гфлопс/Вт. Отмечается, что лидер рейтинга TOP500 — комплекс Frontier — оказался на шестой строке списка Green500: 1,194 Эфлопс и 52,59 Гфлопс/Вт. Замыкает тройку система Adastra (12-я строка в TOP500) с аналогичной аппаратной составляющей: до 46,1 Пфлопс при показателе энергоэффективности на уровне 58,02 Гфлопс/Вт.

Обнародован очередной рейтинг 500 наиболее производительных вычислительных комплексов мира TOP500. Лидирующую позицию сохранил суперкомпьютер Frontier, установленный в Национальной лаборатории Окриджа (ORNL) Министерства энергетики США. Причём его быстродействие поднялось до 1,194 Эфлопс с 1,102 Эфлопс в ноябре 2022 года.

На втором месте в списке находится система Fugaku, расположенная в японском Институте физико-химических исследований (RIKEN): она обеспечивает производительность на уровне 442,01 Пфлопс. Замыкает тройку лидеров комплекс LUMI, смонтированный в Каяани (Финляндия): его результат — 309,10 Пфлопс.

Источник изображения: ORNL

Приблизительно 72,0 % суперкомпьютеров в свежем списке TOP500 оснащены процессорами Intel — против 75,8 % шестью месяцами ранее. Доля систем с чипами AMD за полгода поднялась с 20,2 % до 24,2 %. Минимальный порог для входа в рейтинг увеличился до 1,87 Пфлопс против 1,73 Пфлопс в ноябре прошлого года. Суммарная производительность всех машин TOP500 теперь составляет 5,24 Эфлопс, тогда как полгода назад она равнялась 4,86 Эфлопса.

Источник: TOP500

В новом рейтинге 185 суперкомпьютеров используют различные ускорители/сопроцессоры (полгода назад показатель составлял 179 систем). Из них в 76 машинах применяются решения с архитектурой NVIDIA Volta, в 74 — NVIDIA Ampere, в 16 — AMD Instinct. Наиболее распространены ускорители NVIDIA Tesla V100 — они задействованы в 61 HPC-комплексе.

Источник: TOP500

Наибольшее количество суперкомпьютеров располагается в США — здесь функционируют 150 машин из нового рейтинга, или 30,0 %. На втором месте с географической точки зрениях находится Китай: 134 НРС-комплекса, или 26,8 %. Третья позиция досталось Германии, которая оперирует 36 машинами (7,2 %). Россия находится на 12-й строке: в нашей стране работают семь суперкомпьютеров (1,4 %), попавших в свежий список ТОР500. Если говорить о целых континентах, то в Азии построены 192 машины из списка, в Северной Америке — 160 систем, а в Европе — 133 суперкомпьютера.

Источник изображения: RIKEN

Ведущим поставщиком суперкомпьютерных узлов является Lenovo, на чьих решениях основаны 168 систем из списка, или примерно 33,6 %. На втором месте располагается HPE — 100 суперкомпьютеров и 20 %. Третью позицию занимает Inspur с 43 системами и 8,6 %.

Наиболее распространённая технология интерконнекта — Ethernet, которая применяется в 227 машина из списка: это около 45,4 %. В 200 суперкомпьютерах (40 %) задействована технология Infiniband, ещё в 35 (7 %) — Omnipath. Наиболее распространены процессоры Intel Cascade Lake-SP, установленные в 142 машинах (28,4 %). На втором месте по популярности значатся изделия Intel Skylake-SP, применяющиеся в 125 системах (25 %). Бронза досталась чипам AMD Zen-2 (Rome) — 63 комплекса НРС и 12,6 %. 

Компания NVIDIA анонсировала проект по созданию передовой лаборатории квантовых вычислений. В инициативе участвуют Юлихский суперкомпьютерный центр (Германия) и немецкая компания ParTec AG. Новая структура станет частью Унифицированной инфраструктуры квантовых вычислений Юлиха (Jülich UNified Infrastructure for Quantum Computing, JUNIQ),

Речь идёт об использовании концепции гибридных квантово-классических вычислений. Напомним, летом 2022 года NVIDIA представила платформу разработки QODA, объединяющую миры обычных и квантовых вычислений. А в марте нынешнего года дебютировала система NVIDIA DGX Quantum, в которой совмещены средства ускоренных вычислений на базе Grace Hopper, открытой модели программирования CUDA Quantum и квантовая управляющая платформа Quantum Machines OPX+.

Источник изображения: NVIDIA

Новая лаборатория станет площадкой для выполнения ресурсоёмких задач в рамках концепции квантово-классических вычислений с небольшой задержкой. В дополнение к CUDA Quantum планируется задействовать инструментарий NVIDIA cuQuantum SDK. Ресурсы лаборатории будут интегрированы в модульную суперкомпьютерную архитектуру Юлихского суперкомпьютерного центра.

Ожидается, что концепция гибридных квантово-классических вычислений приблизит квантовые вычисления к реальности. Подход может быть эффективен при решении сложных задач, с которыми не справляются одни лишь классические компьютеры. Исследователи, в частности, рассчитывают добиться беспрецедентных успехов в области химии и материаловедения.

Компания NVIDIA анонсировала проект Isambard 3 — это система высокопроизводительных вычислений, которая расположится в Научном парке Бристоля и Бата в Великобритании. Комплекс будет применяться при решении сложных задач в области ИИ, медицины, астрофизики, биотехнологий и пр.

Инициативу возглавляет Бристольский университет в составе исследовательского консорциума GW4 Alliance. Кроме того, в проекте принимают участие Университеты Бата, Кардиффа и Эксетера. Строительством суперкомпьютера займётся компания HPE.

В основу Isambard 3 лягут 384 суперпроцессора NVIDIA Grace с ядрами Arm Neoverse. Утверждается, что по производительности и энергетической эффективности система в шесть раз превзойдёт своего предшественника — комплекс Isambard 2. В частности пиковое быстродействие FP64 составит 2,7 Пфлопс при энергопотреблении менее 270 кВт. Это позволит комплексу войти в число трёх наиболее энергоэффективных суперкомпьютеров мира, в которых не используются ускорители.

Источник изображения: NVIDIA

Isambard 3 поможет в создании подробных моделей исключительно сложных структур, объектов и установок, таких как ветряные электростанции и термоядерные реакторы. Новая система также продолжит выполнение задач, которыми ранее занималась машина Isambard 2: это исследование на молекулярном уровне, связанные с болезнью Паркинсона, лечением остеопороза и поиском новых препаратов от COVID-19.

Суперкомпьютер Isambard 3, как ожидается, позволит Европейскому научно-исследовательскому сообществу ускорить реализацию проектов в ряде важных областей. Ввод системы в эксплуатацию намечен на весну 2024 года.

Компания HPE объявила о заключении соглашения с Глобальным научно-информационным вычислительным центром Токийского технологического института (Япония) о создании нового суперкомпьютера под названием TSUBAME4.0. Полностью ввести эту систему в эксплуатацию планируется весной 2024 года. TSUBAME4.0 будет применяться для обучения больших ИИ-моделей и запуска ресурсоёмких приложений в области аналитики данных.

В основу суперкомпьютера ляжет платформа HPE Cray XD6500, которая, как утверждается, обеспечивает высокую производительность и специализированные возможности при выполнении нагрузок, связанных с моделированием, а также ИИ. Заявленное пиковое быстродействие TSUBAME4.0 составит 66,8 Пфлопс (FP64). В случае вычислений половинной точности (FP16) показатель достигнет 952 Пфлопс — это в 20 раз больше по сравнению с мощностью суперкомпьютера предыдущего поколения TSUBAME3.0.

Источник изображения: HPE

Вычислительный комплекс TSUBAME4.0 получит 240 узлов, оснащённых двумя процессорами AMD EPYC Genoa, четырьмя ускорителями NVIDIA H100 и 768 Гбайт основной памяти. Говорится о высокой плотности размещения аппаратных компонентов, что позволит уменьшить занимаемую площадь в дата-центре. Задействован 400G-интерконнект NVIDIA Quantum-2 InfiniBand. Отмечается, что в целом архитектура TSUBAME4.0 аналогична системам TSUBAME предыдущих поколений. Благодаря этому возможно использование ранее созданных программных решений, что поможет ускорить реализацию новых НРС-проектов.

Компания Google Cloud представила на конференции для разработчиков Google I/O инстансы Google Compute Engine A3, специально созданные для обеспечения максимальной производительности рабочих нагрузок машинного обучения. Новинки используют современные CPU, быструю память, ускорители NVIDIA и IPU Intel.

Виртуальная машина A3 включает:

• 8 ускорителей NVIDIA H100 Hopper.
• Коммутаторы NVIDIA NVSwitch с NVLink 4.0, обеспечивающие пропускную способность 3,6 Тбайт/с между ускорителями.
• Процессоры Intel Xeon Sapphire Rapids.
• 2 Тбайт оперативной памяти DDR5-4800.
• 200-Гбит/с IPU, специализированный стек межсерверной связи GPU↔GPU и оптимизации NCCL.

Помимо того, что новые инстансы используют DPU/IPU Mount Evans, разработанные совместно с Intel, кластеры A3 также задействуют фирменные оптические коммутаторы Google Jupiter с возможность переконфигурации топологии по требованию, которые компания уже использует в кластерах с собственными ИИ-ускорителями. Всё это позволяет объединять до 26 тыс. ускорителей H100 в облачный ИИ-суперкомпьютер производительность до 26 Эфлопс (TF32).

Изображение: Google

Ключевое отличие от других облачных предложений именно в интерконнекте и масштабируемости. Например, ИИ-суперкомпьютеры в Microsoft Azure объединяют тысячи и даже десятки тысяч ускорителей с использованием InfiniBand и DPU NVIDIA. В Oracle Cloud Infrastructure (OCI), где ранее был поставлен рекорд по объединению 32 768 ускорителей, используется тот же подход. Наконец, в AWS можно объединить до 20 тыс. ускорителей благодаря EFA.

Google предложит клиентам несколько вариантов использования A3: клиенты смогут запускать ВМ самостоятельно или в качестве управляемого сервиса, где Google возьмёт на себя большую часть работы. Возможно использование A3 в Google Kubernetes Engine (GKE) или в Vertex AI. В настоящее время виртуальные машины A3 доступны только после регистрации в списке ожидания превью. Сейчас компания занята развёртыванием множественных кластеров A3 в наиболее крупных облачных регионах.

Центр суперкомпьютерных ресурсов Министерства обороны США (DoD) (Navy DSRC), по сообщению Datacenter Dynamics, получил новую НРС-систему под названием Nautilus: она расположилась в Космическом центре имени Джона Стенниса. Испытания комплекса завершились в апреле 2023 года.

Nautilus — это система Penguin TrueHPC, объединяющая 1352 узла. Каждый из них содержит до 128 ядер AMD EPYC Milan и 256 Гбайт памяти. Кроме того, задействованы 16 узлов визуализации на базе NVIDIA A40 и 32 ИИ-узла на основе четырёх ускорителей NVIDIA A100. Используется интерконнект NVIDIA Mellanox Infiniband 200 Гбит/с.

В общей сложности в состав Nautilus входят 176 128 ядер и 382 Тбайт памяти. Вместимость хранилища составляет 26 Пбайт. Производительность НРС-комплекса достигает 8,2 Пфлопс. Новый суперкомпьютер является частью Программы модернизации высокопроизводительных вычислений Министерства обороны США (HPCMP). Он поможет в моделировании климата, выполнении исследований в области гидродинамики, химии и пр.

Источник изображения: US Navy / MC3 Josue L. Escobosa

Сообщается также, что центр Navy DSRC модернизировал другой свой суперкомпьютер — систему Narwhal на платформе HPE Cray EX. Этот комплекс получил дополнительно 18 176 вычислительных ядер в составе 128 узлов. Кроме того, добавлены 14 узлов с 1 Тбайт памяти. Таким образом, теперь Narwhal оперирует 308 480 ядрами, а его пиковая производительность достигает 13,6 Пфлопс.