На этой неделе премьер-министр Великобритании Риши Сунак (Rishi Sunak) представил программу, которая позволит стране «укрепить своё место в качестве мировой сверхдержавы в области науки и технологий к 2030 году». Одним из главных проектов программы должно стать создание HPC-системы, способной соперничать по мощности с самым производительным суперкомпьютером в мире Frontier (без учёта китайских OceanLight и Tianhe-3), установленным в США. По словам источников, министерство финансов пока не дало согласия на финансирование проекта.

Согласно данным источников ресурса Bloomberg, в настоящее время канцлер казначейства Великобритании обсуждает предложение Департамента науки, инноваций и технологий, созданного в феврале, вложить £800 млн ($946 млн) в создание суперкомпьютера. Frontier, к примеру, обошёлся США в $600 млн. Как утверждают в департаменте, суперкомпьютер обеспечит финансовый импульс отечественной технологической отрасли, поскольку, как предполагается, вычислительная система будет построена британскими фирмами с использованием чипов и систем, созданных британскими же производителями. То есть участие американской HPE и французской Atos, построивших многие из самых мощных суперкомпьютеров в мире, не предполагается.

ARCHER2 — самый мощный суперкомпьютер Великобритании (Фото: EPCC/The University of Edinburgh)

Ресурс The Register допустил, что ответственность за создание суперкомпьютера возложат на британский стартап Graphcore, который уже работает над ИИ-суперкомпьютером Good Machine. Стоит эта система около $120 млн, а производительность её составляет 10 Эфлопс в вычислениях пониженной точности (не FP64). The Register также допускает участие в проекте Arm, поскольку в Великобритании был запущен в работу первый в мире Arm-суперкомпьютер Isambarad, а японский Fugaku возглавлял TOP500. Ещё одним потенциальным участником проекта называется американская NVIDIA, которая также задействует Arm-ядра в новейших чипах Grace Superchip и Grace Hopper.

Источник: Hyperion Research

Ситуация с мощными машинами усугубляется тем, что Великобритания в связи с Brexit'ом покинула консорциум EuroHPC, в создании которого принимала активное участие. Суперкомпьютеры EuroHPC уже занимают третье (финский LUMI от HPE) и четвёртое (итальянский Leonardo от Atos) место в последнем TOP500. В скором времени EuroHPC будут развёрнуты самый мощный европейский ИИ-суперкомпьютер MareNostrum-5, первый экзафлопсный суперкомпьютер JUPITER и шесть квантовых компьютеров. При этом Евросоюз активно вкладывается в создание собственных CPU и ускорителей, а также СХД.

Южнокорейское Министерство науки и информационных технологий ввело в эксплуатацию новый суперкомпьютер вычислительной мощностью 35 Пфлопс и стоимостью почти $35 млн. Как сообщает DataCenter Dynamics, суперкомпьютер расположен в ЦОД Research Data Center хаба AI Innovation Hub, находящегося на территории кампуса Университета Кореи в Сеуле, и предназначен для решения научных задач.

По данным издания, в спонсируемом государством проекте принимает участие 631 учёный и ислледователь. Одновременно нагружать суперкомпьютер задачами смогут порядка 100 исследователей. В министерстве считают, что новый проект поможет Южной Корее поддерживать на должном уровне вычислительные мощности в быстро меняющемся ИИ-секторе. По словам представителя министерства, власти не пожалеют ресурсов на поддержку исследований в этой сфере.

Источник изображения: Ciaran O'Brien/unsplash.com

В 2021 году Южная Корея объявила о намерении создать собственные чипы, которые впоследствии станут основой отечественных серверов и суперкомпьютеров. Речь в том числе про ИИ-ускорители, развитие которых было, в частности, поручено SK Group (Sapeon), Rebellions, FuriosaAI — все три компании уже анонсировали свои решения, а SK не так давно удвоила производительность своего ИИ-суперкомпьютера Titan.

Человечество преуспело в гонке за экзафлопсами. Следующий барьер лежит в области 1 Зфлопс, что потребует нарастить производительность ещё на три порядка. Но вместе с производительностью растёт и потребляемая мощность. Перспективам такого роста был посвящён доклад главы AMD, Лизы Су (Lisa Su), сделанный на конференции ISSCC.

Компания не слишком оптимистична в своих оценках: хотя статистика говорит, что с 1995 года производительность HPC-систем удваивалась примерно каждые 1,2 года, удельная энергоэффективность Гфлопс/Вт росла куда медленнее — цикл удвоения составляет 2,2 года. Сегодня TOP500 возглавляет Frontier с показателями 1,102 Эфлопс и 21,1 МВт. При сохранении данного уровня энергоэффективности достижение 1 Зфлопс потребует 21 ГВт. То есть для его питания потребуется 21 энергоблок АЭС, мощностью 1000 МВт каждый.

Источник здесь и далее: HPCWire

Даже при сохранении существующего темпа увеличения энергоэффективности к 2035 году этот показатель достигнет лишь 2140 Гфлопс/Вт, так что гипотетический зетта-кластер всё равно потребует 500 МВт. Вряд ли можно назвать практичным суперкомпьютер, требующий для себя отдельный энергоблок АЭС. В качестве реалистичной цифры было названо 100 МВт, что требует эффективности порядка 10000 Гфлопс/Вт. Достичь её будет непросто: на слайдах, показанных AMD, видно, что одного прогресса в техпроцессах явно будет недостаточно.

Потребуются существенные архитектурные оптимизации, массовый переход на чиплетные технологии, совершенствование интерконнекта, а также оптимизация аппаратной и программной части на основе ИИ. Подсистема памяти не просто вырастет в объёмах, но и станет «умной» благодаря переносу части вычислений на уровень DRAM. Здесь AMD активно сотрудничает с таким крупным производителем, как Samsung Electronics — компании уже создали уникальный ИИ-суперкомпьютер, скрестив «умную» память HBM-PIM и ускорители Instinct, и развивают SmartSSD.

Неплохим примером комплексного подхода к решению вышеописанной проблемы, по мнению AMD, является APU Instinct MI300, который уже совсем скоро станет основой самых мощных суперкомпьютеров. Впрочем, пока что загадывать наперёд спешат не все специалисты. Так, США готовятся к созданию суперкомпьютеров производительностью от 10–20 Эфлопс, которые будут потреблять 20–60 МВт. А некоторые и вовсе считают, что будущие экзафлопсные HPC-системы и вовсе станут последними в своём роде.

Южная Корея — одна из стран, наиболее активно вкладывающих массу ресурсов в развитие собственной суперкомпьютерной инфраструктуры, в том числе, в разработку собственных процессоров и ускорителей. Уделяет она серьёзное внимание и модернизации существующих HPC-систем, что актуально в свете бурного развития ИИ, особенно нейросетевых языковых моделей.

Крупный южнокорейский телеком-провайдер, компания SK Telecom объявила серьёзной модернизации суперкомпьютера Titan, который является «мозгом» для ИИ-модели Aidat (A dot) — корейского варианта знаменитой GPT-3. Впервые эта сеть дебютировала в мае прошлого года в качестве ИИ-помощника SK, помогающего с рекомендациями для выбора аудио- и видеоконтента владельцам смартфонов.

Источник: SK Telecom

Titan не имеет отношения к уже демонтированному кластеру Окриджской национальной лаборатории — это система, базирующаяся на серверах HPE Apollo 6500 с процессорами AMD EPYC 7763 (64C/128T, 2,45 ГГц) и в ноябре 2022 года занявшая 92 место в TOP500 с результатом 6,29 Пфлопс. Суперкомпьютер использует ускорители NVIDIA A100 (80 Гбайт) и интерконнект InfiniBand HDR.

Деталей о обновлении системы SK Telecom практически не раскрывает, но известно, что количество ускорителей доведено до 1040, и это позволило достичь модернизированному кластеру пиковой производительности на уровне 17,1 Пфлопс, что более чем вдвое превосходит предыдущий показатель. Компания отмечает, что апгрейд позволит использовать ещё более сложные модели, что должно улучшить качество ответов Aidat.

Компания Atos объявила о заключении контракта на создание и установку нового высокопроизводительного комплекса для Общества научных исследований имени Макса Планка. В основу системы ляжет суперкомпьютерная платформа BullSequana XH3000 с новейшими процессорами AMD EPYC и ускорителями Instinct. Стоимость проекта превышает €20 млн.

Суперкомпьютер будет эксплуатироваться Вычислительным и информационным центром Общества Макса Планка (MPCDF) в Гархинге недалеко от Мюнхена (Германия). Систему планируется применять для решения задач в области астрофизики, биологических исследований, разработки передовых материалов, физики плазмы и технологий ИИ.

Комплекс получит систему прямого жидкостного охлаждения (DLC) без вентиляторов. Коэффициент эффективности использования энергии (PUE) составит менее 1,05, что намного ниже по сравнению с другими HPC-установками. В суперкомпьютере будут применяться чипы AMD EPYC Genoa и ускорители Instinct MI300A. Система будет включать 768 процессорных узлов и 192 узла с ускорителями. В состав комплекса войдёт хранилище IBM SpectrumScale.

Источник изображения: Atos

Узлы CPU планируется поставить в III квартале 2023 года, тогда как развёртывание узлов с ускорителями ожидается в первой половине 2024 года. По производительности новый суперкомпьютер в три раза превзойдёт нынешний комплекс Cobra, который используется в MPCDF и также базируется на технологиях Atos. Его пиковое быстродействие достигает 11,4 Пфлопс.

Корпорация IBM анонсировала HPC-систему под названием Vela — это облачный суперкомпьютер, оптимизированный для задач ИИ. В основу положены процессоры Intel Xeon Cascade Lake, а также ускорители NVIDIA. Сообщается, что Vela заработала ещё в мае 2022 года. Она базируется на облачной платформе IBM Cloud, но в настоящее время суперкомпьютер предназначен для использования только исследовательским сообществом IBM.

Каждый из узлов комплекса оснащён двумя процессорами Intel Xeon Cascade Lake (в данном случае IBM отказалась от собственных чипов POWER10) и восемью ускорителями NVIDIA A100 (80 Гбайт). Объём оперативной памяти составляет 1,5 Тбайт. Задействованы четыре NVMe SSD, каждый вместимостью 3,2 Тбайт. Каждая пара ускорителей подключена посредством двух 100GbE-интерфейсов к ToR-коммутатору, каждый из которых, в свою очередь, через два канала 100GbE соединён с магистральными коммутаторами.

При создании системы IBM сделала выбор в пользу конфигурации на основе виртуальных машин (ВМ). Утверждается, что хотя «голое железо» предпочтительнее для достижения максимальной производительности, подход с применением ВМ даёт большую гибкость. Использование виртуальных машин, в частности, обеспечивает возможность динамического масштабирования кластеров ИИ и перераспределения ресурсов. При этом создателям удалось снизить «штраф» к производительности до менее чем 5 %.

Источник изображения: IBM

В состав Vela входят 60 стоек. Если верить диаграмме выше, каждая стойка содержит шесть узлов, что в сумме даёт 360 узлов и 2880 ускорителей NVIDIA A100. Система изначально интегрирована в среду IBM Cloud VPC, а это означает, что ИИ-нагрузки могут задействовать любые из более чем 200 сервисов IBM Cloud. В перспективе на базе Vela могут быть созданы другие суперкомпьютеры. «Хотя эта работа проделана с прицелом на обеспечение производительности и гибкости для крупномасштабных рабочих нагрузок ИИ, инфраструктура была разработана таким образом, чтобы её можно было развернуть в любом из наших мировых дата-центров любого масштаба», — заявляет IBM.

Государственное агентство по развитию информационных технологий (KIFU) объявило о запуске суперкомпьютера Komondor в кампусе Дебреценского университета (Венгрия). Это самый мощный венгерский вычислительный комплекс: его производительность достигает почти 5 Пфлопс. Стоимость проекта оценивается в $12,8 млн. В основу положены платформа HPE Cray EX и 100G-интерконнект (Slingshot 11). Тестирование суперкомпьютера началось в сентябре 2022 года.

Архитектура Komondor предполагает наличие CPU- и GPU-разделов, а также специализированного блока для задач ИИ и аналитики данных. Раздел CPU объединяет 140 узлов, каждый из которых содержит два процессора AMD EPYC 7763 (64 ядра; 2,45–3,50 ГГц; 256 Мбайт кеша L3; 280 Вт): суммарная производительность данного сегмента составляет 0,7 Пфлопс. GPU-составляющая включает 50 узлов на чипах EPYC 7763: каждый из узлов наделён четырьмя ускорителями NVIDIA A100, а общее быстродействие равно 4 Пфлопс.

Источник изображения: KIFU

Кроме того, в состав системы включены ИИ-блок и модуль Big Data. Первый состоит из двух узлов HPE Apollo 6500 Gen10, содержащих по два процессора EPYC 7763 и по восемь ускорителей NVIDIA A100. Второй модуль использует узел SMP/NUMA с 12 процессорами Intel Xeon Gold 6254 (18 ядер; 3,1–4,0 ГГц; 200 Вт). Суперкомпьютер также имеет хранилище на 10 Пбайт.

Тепло, генерируемое вычислительным комплексом, будет использоваться для обогрева близлежащего муниципального бассейна. Около трёх четвертей ресурсов системы будут доступны исследователям по всей стране, а остальная часть — бизнесу. Заявленная потребляемая мощность — около 300 кВт. В ноябрьском рейтинге TOP500 суперкомпьютер Komondor находится на 199-й позиции.

Министр науки, технологий и инноваций Аргентины Даниэль Фильмус (Daniel Filmus) и министр обороны страны Хорхе Тайана (Jorge Taiana) рассказали о новом комплексе высокопроизводительных вычислений, который планируется ввести в эксплуатацию весной 2023 года. Безымянный пока суперкомпьютер расположится в вычислительном центре Национальной метеорологической службы Аргентины. Созданием системы занимаются специалисты Lenovo. Отличительной особенностью системы станет то, что они будет использовать исключительно процессоры и ускорители Intel Max.

Комплекс объединит 5120 ядер процессоров Intel Max (HBM-версии чипов Xeon Sapphire Rapids) суммарной производительностью около 440 Тфлопс. Кроме того, будут задействованы 296 ускорителей Intel Max (Ponte Vecchio) с общим быстродействием 15,3 Пфлопс. Таким образом, пиковая производительность суперкомпьютера в целом составит примерно 15,7 Пфлопс. С таким показателем он мог бы претендовать на 82-е место в нынешнем рейтинге TOP500. Система получит 1,66 Пбайт памяти, 400G-сеть и систему прямого жидкостного охлаждения. Потребляемая мощность составит приблизительно 233 кВт.

Источник изображения: Intel

Суперкомпьютер планируется применять для широкого спектра научных задач, таких как разработка лекарственных препаратов, биоинформатика, наука о данных, искусственный интеллект и моделирование атмосферы. Нужно отметить, что сейчас Национальная метеорологическая служба Аргентины использует HPC-систему Huayra Muyu с пиковым быстродействием 370 Тфлопс.

Концепция вычислений в памяти (in-memory computing) имеет ряд преимуществ при построении HPC-систем, и компания Samsung сделала в этой области важный шаг. Впервые на практике южнокорейский гигант совместил в экспериментальном суперкомпьютере свои чипы in-memory с ускорителями AMD Instinct. Согласно заявлениям Samsung, такое сочетание даёт существенный прирост производительности при обучении «тяжёлых» ИИ-моделей. При этом улучшаются и показатели энергоэффективности.

Новая система насчитывает 96 ускорителей AMD Instinct MI100, каждый из которых дополнен фирменной памятью HBM-PIM с функциями processing-in-memory. В состав системы входит 12 вычислительных узлов с 8 ускорителями в каждом. Шестёрка узлов связана с другой посредством коммутаторов InfiniBand. Используется 16 линков со скоростью 200 Гбит/с.

Здесь и далее источник изображений: Samsung

Кластер Samsung нельзя назвать рекордсменом, но результаты получены весьма обнадёживающие: в задаче обучения языковой модели Text-to-Test Transfer Transformer (T5), разработанной Google, использование вычислительной памяти позволило снизить время обучения в 2,5 раза, а потребление энергии при этом сократилось в 2,7 раза.

Технология весьма дружественна к экологии: по словам Samsung, такой кластер с памятью HBM-PIM способен сэкономить 2100 ГВт·час в год, что в пересчёте на «углеродный след» означает снижение выбросов на 960 тыс. т за тот же период. Для поглощения аналогичных объёмов углекислого газа потребовалось бы 10 лет и 16 млн. деревьев.

Компания уверена в своей технологии вычислений в памяти и посредством SYCL уже подготовила спецификации, позволяющие разработчикам ПО использовать все преимущества HBM-PIM. Также Samsung активно работает над похожей концепцией PNM (processing-near-memory), которая найдёт своё применение в модулях памяти CXL.

Устройство Samsung HBM-PIM

Работы по внедрению PIM и PNM Samsung ведёт давно, ещё на конференции Hot Chips 33 в прошлом году она объявила, что намерена оснастить вычислительными ускорителями все типы памяти — не только HBM2/3, но и DDR4/5. Тогда же впервые был продемонстрирован рабочий образец HBM-PIM, где каждый чип был оснащён ускорителем с FP16-производительностью 1,2 Тфлопс.

Таким образом, первая HPC-система с технологией PIM полностью доказала работоспособность концепции вычислений в памяти. Samsung намеревается активно продвигать технологии PIM и PNM как в ИТ-индустрии, так и в академической среде, главном потребителе ресурсов суперкомпьютеров и кластерных систем.

Совместная инициатива по высокопроизводительным вычислениям в Европе EuroHPC JU и некоммерческий консорциум CINECA, состоящий из 69 итальянских университетов и 21 национальных исследовательских центров, провели церемонию запуска суперкомпьютера Leonardo.

В основу комплекса положены платформы Atos BullSequana X2610 и X2135. Система Leonardo состоит из двух секций — общего назначения и с ускорителями вычислений (Booster). Когда строительство системы будет завершено, первая будет включать 1536 узлов, каждый из которых содержит два процессора Intel Xeon Sapphire Rapids с 56 ядрами и TDP в 350 Вт, 512 Гбайт оперативной памяти DDR5-4800, интерконнект NVIDIA InfiniBand HDR100 и NVMe-накопитель на 8 Тбайт.

Источник изображения: HPCwire

Секция Booster объединяет 3456 узлов, каждый из которых содержит один чип Intel Xeon 8358 с 32 ядрами, 512 Гбайт ОЗУ стандарта DDR4-3200, четыре кастомных ускорителя NVIDIA A100 с 64 Гбайт HBM2-памяти, а также два адаптера NVIDIA InfiniBand HDR100. Кроме того, в состав комплекса входят 18 узлов для визуализации: 6,4 Тбайт NVMe SSD и два ускорителя NVIDIA RTX 8000 (48 Гбайт) в каждом. Вычислительный комплекс объединён фабрикой с топологией Dragonfly+.

Источник: CINECA

Для хранения данных служит двухуровневая система. Производительный блок (5,4 Пбайт, 1400 Гбайт/с) содержит 31 модуль DDN Exascaler ES400NVX2, каждый из которых укомплектован 24 NVMe SSD вместимостью 7,68 Тбайт и четырьмя адаптерами InfiniBand HDR. Второй уровень большой ёмкости (106 Пбайт, чтение/запись 744/620 Гбайт/с) состоит из 31 массива DDN EXAScaler SFA799X с 82 SAS HDD (7200 PRM) на 18 Тбайт и четырьмя адаптерами InfiniBand HDR. Каждый из массивов включает два JBOD-модуля с 82 дисками на 18 Тбайт. Для хранения метаданных используются 4 модуля DDN EXAScaler SFA400NVX: 24 × 7,68 Тбайт NVMe + 4 × InfiniBand HDR.

Изображение: CINECA

В настоящее время Leonardo обеспечивает производительность более 174 Пфлопс. Ожидается, что суперкомпьютер будет полностью запущен в первой половине 2023 года, а его пиковое быстродействие составит 250 Пфлопс. Уже сейчас система занимает четвёртое место в последнем рейтинге самых мощных суперкомпьютеров мира TOP500. В Европе Leonardo является второй по мощности системой после LUMI.

Leonardo оборудован системой жидкостного охлаждения для повышения энергоэффективности. Кроме того, предусмотрена возможность регулировки энергопотребления для обеспечения баланса между расходом электричества и производительностью. Суперкомпьютер ориентирован на решение высокоинтенсивных вычислительных задач, таких как обработка данных, ИИ и машинное обучение. Половина вычислительных ресурсов Leonardo будет предоставлена пользователям EuroHPC.