Аргоннская национальная лаборатория Министерства энергетики США сообщила о том, что вычислительный комплекс Polaris, предназначенный для решения ИИ-задач, устанавливает высокие стандарты производительности СХД в бенчмарке MLPerf Storage AI.

Суперкомпьютер Polaris, разработанный в сотрудничестве с Hewlett Packard Enterprise (HPE), объединяет 560 узлов, соединенных между собой посредством интерконнекта HPE Slingshot. Каждый узел содержит четыре ускорителя NVIDIA A100 и два накопителя NVMe вместимостью 1,6 Тбайт каждый.

Задействована платформа хранения HPE ClusterStor E1000, которая предоставляет 100 Пбайт полезной ёмкости на 8480 накопителях. Заявленная скорость передачи данных достигает 659 Гбайт/с. Вычислительный комплекс смонтирован на площадке Argonne Leadership Computing Facility (ALCF). Пиковая производительность составляет около 44 Пфлопс.

Источник изображения: ALCF

Быстродействие Lustre-хранилища оценивалась с использованием двух рабочих нагрузок MLPerf Storage AI — UNet3D и Bert. Данные размещались как в основном хранилище, так и на NVMe-накопителях в составе узлов суперкомпьютера, что позволило эмулировать различные рабочие нагрузки ИИ.

В тесте UNet3D с интенсивным вводом-выводом суперкомпьютер достиг пиковой пропускной способности в 200 Гбайт/с для основного хранилища HPE ClusterStor E1000. В случае NVMe-накопителей продемонстрирован результат на уровне 800 Гбайт/с. Менее интенсивная рабочая нагрузка Bert также показала высокие результаты, что говорит о возможности эффективного выполнения современных ИИ-задач.

Аналитики Morgan Stanley, по сообщению Datacenter Dynamics, полагают, что запуск суперкомпьютера Dojo позволит Tesla увеличить свою рыночную стоимость на $500 млрд. Иными словами, капитализация компании Илона Маска может подняться приблизительно на 60 %.

Tesla намерена до конца 2024 года потратить на проект Dojo более $1 млрд. Этот вычислительный комплекс поможет в разработке инновационных технологий для роботизированных автомобилей. В составе системы будут применяться чипы собственной разработки Tesla D1. В перспективе производительность Dojo планируется довести до 100 Эфлопс.

По состоянию на сентябрь 2023 года рыночная капитализация Tesla составляет около $778 млрд при стоимости ценных бумаг примерно $248. Отмечается, что цена акций компании в течение нынешнего года уже выросла более чем вдвое после снижения в 2022-м. Morgan Stanley прогнозирует, что после ввода системы Dojo в эксплуатацию стоимость ценных бумаг Tesla поднимется примерно на 60 % — до $400.

Источник изображения: Tesla

«Чем больше мы анализировали проект Dojo, тем больше осознавали потенциальную возможность недооценки акций Tesla», — сказал аналитик Morgan Stanley Адам Джонас (Adam Jonas). Предполагается, что Dojo поможет ускорить развитие технологий автопилотирования, а также усилит позиции Tesla в сегменте облачных сервисов. Ранее генеральный директор Tesla Илон Маск заявлял, что компания разрабатывает систему отчасти из-за того, что не может получить достаточное количество ускорителей на базе GPU для удовлетворения своих потребностей.

В рамках проекта European High Performance Computing Joint Undertaking (EuroHPC JU), реализуемого властями Евросоюза, странами-участницами и частными компаниями с целью создания инфраструктуры высокопроизводительных вычислений, запущен суперкомпьютер Deucalion.

Комплекс разработан специалистами Fujitsu Technology Solutions. Это первая система EuroHPC, основанная на процессорах с архитектурой Arm. Применены чипы Fujitsu A64FX, а также платформа Bull Sequana от Eviden (Atos).

Суперкомпьютер располагается в Португалии: он размещён в Центре передовых вычислений Университета Минью в Гимарайнше. Общий бюджет проекта Deucalion составил €20 млн — средства выделены участниками инициативы EuroHPC и Португальским фондом науки и технологий (FCT). Deucalion — самый мощный суперкомпьютер в Португалии и восьмой вычислительный комплекс, созданный по программе EuroHPC JU.

Источник изображения: FCT

Комплекс обеспечивает производительность более 10 Пфлопс. Использовать систему в числе прочего планируется для исследований и разработок в области метеорологии и моделирования климата, гидродинамики, аэродинамики, а также астрофизики и космологии. Кроме того, суперкомпьютер будет стимулировать инновации в таких областях, как ИИ, персонализированная медицина, фармацевтика и новые материалы, пожаротушение, территориальное планирование, интеллектуальная мобильность и автономные транспортные средства.

На прошедшей недавно конференции Hot Chips 2023 компания Cerebras, создатель самого большого в мире ИИ-процессора WSE-2, рассказала о своём видении будущего ИИ-систем. По мнению Cerebras, сфокусировать внимание стоит не столько на наращивании сложности отдельных чипов, сколько на решениях проблем, связанных с масштабированием кластеров.

Свою презентацию Cerebras начала с любопытных фактов: за прошедшие пять лет сложность ИИ-моделей возросла в 40 тыс. раз. И этот темп явно опережает темпы развития чипов-ускорителей. Хотя налицо прогресс и в техпроцессах (5x), и в архитектуре (14x), и во внедрении более эффективных для ИИ форматов данных, но наибольший прирост производительности обеспечивает именно возможность эффективного масштабирования.

Источник изображений здесь и далее: Cerebras (via ServeTheHome)

Однако и этого недостаточно — 600-кратный прирост от кластеризации явно теряется на фоне 40-тыс. усложнения самих нейросетей. А дальнейший рост масштабов ИИ-комплексов в их классическом виде, состоящих из множества «малых» ускорителей, неизбежно приводит к проблемам с организацией памяти, интерконнекта и вычислительных мощностей.

В итоге решение любой задачи в таких системах часто упирается в необходимость тончайшей, но при этом далеко не всегда эффективной оптимизации разделения ресурсов. При этом разные методы масштабирования имеют свои проблемы — узким местом могут оказаться и память, и интерконнект, и конкретный подход к организации кластера.

Cerebras же предлагает совершенно иной подход. Выход компания видит в создании огромных чипов-кластеров, таких, как 7-нм Cerebras WSE-2. Этот чип на сегодня можно назвать самым большим в индустрии: его площадь составляет более 45 тыс. мм², при этом он содержит 2,6 трлн транзисторов и имеет 850 тыс. ядер, дополненных 40 Гбайт сверхбыстрой памяти. Что интереснее, кластер на базе CS-2 представляется с точки зрения исполняемой модели, как единая система.

Сама по себе сложность WSE-2 и платформы CS-2 на его основе такова, что позволяет запускать модели практически любых размеров, благо весовые коэффициенты чип в себе не хранит, а подгружает извне с помощью подсистемы MemoryX. При этом сама по себе платформа CS-2 допускает и дальнейшее масштабирование: с помощью интерконнекта SwarmX в единый кластер можно объединить до 192 таких машин, что в теории позволит поднять производительность до 8+ Эфлопс.

Подсистема MemoryX включает в себя 12 узлов, за оптимизацию модели в ней отвечают 32-ядерные процессоры, а веса хранятся как в DRAM, так и во флеш-памяти — объёмы этих подсистем составляют 12 Тбайт и 6 Пбайт соответственно. Каждый узел имеет по 2 порта 100GbE — один для закачки данных в CS-2, второй для общения с другими MemoryX в кластере. Оптимизация данных производится на процессорах MemoryX, «мегачипы» CS-2 для этого не используются.

Подсистема интерконнекта SwarmX базируется на 100GbE с поддержкой RoCE DRMA, но имеет ряд особенностей: на каждые четыре системы CS-2 приходтся 12 узлов SwarmX c производительностью интерконнекта 7,2 Тбит/с. Трансляция и редуцирование данных осуществляются с коэффициентом 1:4, причём и здесь используются силы собственных 32-ядерных процессоров, а не ресурсы CS-2. Топологически SwarmX имеет двухслойную конфигурацию spine-leaf и обеспечивает соединение типа all-to-all, при этом каждая CS-2 имеет свой канал с пропускной способностью 1,2 Тбит/с.

Сочетание MemoryX и SwarmX позволяет делать кластеры на базе CS-2 крайне гибкими: размер модели ограничивается лишь ёмкостью узлов MemoryX, а степень параллелизма — их количеством. При этом интерконнект обладает достаточной степенью избыточности, чтобы говорить об отсутствии единых точек отказа.

Таким образом, Cerebras имеет на руках всё необходимое для запуска самых сложных моделей искусственного интеллекта. Уже сравнительно немолодой кластер Andromeda, включающий всего 16 платформ CS-2, способен «натаскивать» за считанные недели нейросети размерностью до 13 млрд параметров. При этом масштабирование по размеру модели не требует серьёзного вмешательства в программный код, в отличие от классического подхода для ускорителей NVIDIA. Фактически для сетей и с 1, и со 100 млрд параметров используется один и тот же код.

Более мощный 64-узловой комплекс Condor Galaxy 1 (CG-1), располагающий 54 млн ИИ-ядер и развивающий до 4 Эфлопс уже доказал, что подход к масштабированию, продвигаемый Cerebras, оправдывает себя. Он успешно обучил первую публичную модель с 3 млрд параметров, причём по возможностям она приближается к моделям с 7 млрд параметров. И это не предел: напомним, в текущем воплощении сочетание подсистем MemoryX и интерконнекта SwarmX допускает объединение в единый кластер до 192 узлов CS-2.

Компания считает, что она полностью готова к наплыву ещё более сложных нейросетей, а предлагаемая ей архитектура в явном виде лишена многих узких мест, свойственных традиционным GPU-архитектурам. Насколько успешным окажется такой подход в более отдалённой перспективе, покажет время.

1 сентября ректор Московского государственного университета им. Ломоносова (МГУ) Виктор Садовничий объявил о запуске суперкомпьютера «МГУ-270» с ИИ-производительностью 400 Пфлопс (точность вычислений не указывается). Как сообщает пресс-служба МГУ, уже объявлено о начале выполнения тестовых задач новой машиной. Комплекс станет частью объединённой сети научных суперкомпьютерных центров России и позволит создавать российские языковые модели, аналогичные ChatGPT.

Суперкомпьютер, как сообщается, разрабатывался с 2020 года с участием факультета ВМК МГУ. Система включает около сотни самых современных ускорителей, уточняет ТАСС. Машина использует неназванный 200-Гбит/с интерконнект, который также охватывает СХД. Для управления и интеграции с внешней инфраструктурой использована сеть с пропускной способностью 100 Гбит/с. Кроме того, машина получила новые инженерные системы, причём при создании всего комплекса широко применялись узлы и компоненты российского производства. «МГУ-270» составит единый вычислительный кластер с введённым ранее в эксплуатацию суперкомпьютером «Ломоносов-2».

Иные технические характеристики названы не были, поэтому можно только гадать, какие именно ускорители используются в новой системе. Если предположить, что речь идёт о 400 Пфлопс в FP8-расчётах (с разреженностью), то для получения такого уровня производительности хватит около ста новейших ускорителей NVIDIA H100 в форм-факторе SXM или же, вероятно, неподсанкционных H800.

Источник изображения: МГУ

Как сообщало агентство ТАСС со ссылкой на Садовничего, задачи «МГУ-270» в основном будут связаны с развитием технологий искусственного интеллекта (ИИ) и подготовкой кадров в этой области. По данным пресс-службы МГУ, исследователи займутся «разработкой математических методов машинного обучения для обработки текстовой научной информации большого объема, интеллектуальным анализом изображений для высокопроизводительного фенотипирования растений и точного земледелия, прогнозированием качества гетерогенных каналов в сетях передачи данных на основе вероятностных моделей и методов машинного обучения» и исследованиям в других сферах, например, в области материаловедения.

Строительство «МГУ-270» предусмотрено программой развития МГУ до 2030 года. По словам декана факультета ВМК МГУ Игоря Соколова, «МГУ-270» уже начал выполнять первые тестовые задачи, итоги работ подведут в декабре. В частности, они связаны с анализом изображений и медицинскими исследованиями, а в будущем модель, возможно, поможет ускорить появление средства для более эффективного контроля внимания младших школьников на уроках. Суперкомпьютер будет применяться для поддержки курсов в области ИИ, разработки магистерских программ, для автоматизации и цифровизации учебного процесса и проведения соревнований в формате хакатонов.

Интерконнекту Omni-Path прочили в своё время светлое будущее, но в 2019 году компания Intel отказалась от своего детища и свернула поставки OPA-решений. Однако эстафету подхватила Cornelis Networks, так что технология не умерла — совсем недавно The Next Platform были опубликованы планы по дальнейшему развитию Omni-Path.

В 2012 году Intel выкупила наработки по TruScale InfiniBand у QLogic, позднее дополнив их приобретением у Cray интерконнектов Gemini XT и Aries XC. Задачей было создание единого интерконнекта, могущего заменить PCIe, FC и Ethernet, а в основу была положена технология Performance Scale Messaging (PSM). PSM считалась более эффективной и пригодной в сравнении с verbs InfiniBand, однако самой технологии более 20 лет. В итоге Cornelis Networks отказалась от PSM и теперь развивает новый программный стек на базе libfabric.

Источник изображений здесь и далее: Cornelis Networks (viaThe Next Platform)

Уже первое поколение Omni-Path Express (OPX), работающее со скоростью 100 Гбит/с могло работать под управлением нового стека бок о бок с PSM2, а для актуальных 400G-продуктов Omni-Path Express CN5000 вариант OFI станет единственным. Скорее всего, в этом поколении будет также убрано всё, что работает на основе кода OFA Verbs. Останутся только части, выделенные на слайде выше красным. Как отмечает Cornelis Networks, главным отличием OPX от InfiniBand станет использование стека на базе полностью открытого кода с апстримом драйвера OFI в ядро Linux.

Планы Cornelis Networks по развитию Omni-Path

Планы компании простираются достаточно далеко: на 2024 год запланировано пятое поколение Omni-Path, включающее в себя не только адаптеры, но и необходимую инфраструктуру — 48-портовые коммутаторы и 576-портовые директоры. Предел масштабирования возрастёт практически на порядок, с 36,8 тыс. подключений для Omni-Path 100 до 330 тыс. Латентность при этом составит менее 1 мкс при потоке до 1,2 млрд сообщений в секунду. Появится поддержка топологий Dragonfly и Megafly, оптимизированных для применения в крупных HPC-системах, и динамическая адаптивная маршрутизация на базе данных телеметрии.

Характеристики и внутреннее устройство коммутаторов пятого поколения CN5000 компания публикует уже сейчас. Обычный периферийный коммутатор займёт высоту 1U, но при этом будет поддерживать как воздушное, так и жидкостное охлаждение, а модульный коммутатор класса director будет занимать 17U и получит внутренний интерконнект с топологией 2-tier Fat Tree. В нём будет предусмотрена горячая замена модулей и опция жидкостного охлаждения.

Базовый адаптер CN5000 выглядит как обычная плата расширения с интерфейсом PCIe 5.0 x16. Будут доступны варианты с одним и двумя портами 400G. Что интересно, опция жидкостного охлаждения предусмотрена и здесь. В 2026 году должно появиться шестое поколение решений Omni-Path CN6000 со скоростью 800 Гбит/с, включающее в себя не только базовые адаптеры и коммутаторы, но и первый в мире DPU для OPA, построенный на базе архитектуры RISC-V и поддерживающий CXL. Благодаря DPU будут реализованы более продвинутые опции разгрузки хост-системы и ускорения конкретных приложений.

Наконец, в 2028 году в седьмом поколении CN7000 скоростной потолок поднимется с 800 до 1600 Гбит/с. Будет внедрена перспективная для крупномасштабных сетей поддержка топологии HyperX. Также ожидается появление чиплетов с интерфейсом UCIe и интегрированной фотоникой, что позволит интегрировать Omni-Path в решения сторонних производителей.

Одной из главных целей Cornelis Networks, напомним, заявлено создание системы интерконнекта для суперкомпьютеров нового поколения экзафлопного класса. Разработка финансируется в рамках инициативы Exascale Computing Initiative (ECI). А первым суперкомпьютером, использующим Omni-Path пятого поколения (400G), станет техасский Stampede3.

Лос-Аламосская национальная лаборатория (LANL) Министерства энергетики США сообщила о запуске суперкомпьютера Crossroads — первого в мире крупного вычислительного комплекса, полагающегося исключительно на процессоры Intel Xeon Sapphire Rapids, в том числе с HBM-памятью. Система будет применяться для решения сложных научных задач, связанных с ядерным арсеналом США.

О создании 165-Пфлопс машины впервые было объявлено в конце 2020 года, а первая фаза установки Crossroads была завершена в октябре 2022 года. Тогда говорилось, что по FP64-производительности новый суперкомпьютер превзойдёт существующую систему LANL Trinity в четыре раза. Отличительной чертой машины является то, что она полагается исключительно на CPU Intel.

Как теперь сообщается, в июне оставшееся оборудование, включая компоненты системы жидкостного охлаждения, было доставлено в Стратегический вычислительный комплекс (Strategic Computing Complex), где размещены HPC-системы LANL. После этого специалисты HPE произвели монтаж узлов и обеспечили подключение Crossroads к сети лаборатории. В настоящее время проводится первоначальная диагностика систем Crossroads. Суперкомпьютер станет доступен пользователям нынешней осенью.

Источник изображения: LANL

Утверждается, что Crossroads обеспечит в четыре–восемь раз более высокую производительность по сравнению с Trinity при решении сложных задач моделирования. Но точные показатели быстродействия пока не раскрываются. Известно, что в состав суперкомпьютера входят узлы с HBM-версией Sapphire Rapids (Intel Max), а также подсистема хранения данных типа All-Flash.

Компания Tesla, по сообщению Tom's Hardware, в минувший понедельник, 28 августа 2023 года, запустила вычислительный кластер для решения ресурсоемких задач, связанных с ИИ. В основу платформы положены 10 тыс. ускорителей NVIDIA H100.

Отмечается, что система обеспечивает пиковую производительность в 340 Пфлопс FP64 для технических вычислений и 39,58 Эфлопс INT8 для приложений ИИ. Таким образом, по производительности FP64 кластер превосходит суперкомпьютер Leonardo, который располагается на четвёртой позиции в нынешнем рейтинге Тор500 с показателем 304 Пфлопс.

Фактически кластер Tesla на базе NVIDIA H100 является одной из самых мощных платформ в мире. Он подходит не только для обработки алгоритмов ИИ, но и для НРС-задач. Благодаря данной системе Tesla значительно расширит свои ресурсы для создания полноценного автопилота. А это поможет компании Илона Маска получить конкурентные преимущества перед другими разработчиками умных транспортных средств. На формирование кластера потрачено около $300 млн.

Изображение: Twitter / Sawyer Merritt

Однако на рынке сформировался дефицит ускорителем NVIDIA H100. На этом фоне Tesla создаёт ИИ-суперкомпьютер Dojo, в основу которого лягут специализированные чипы собственной разработки — Tesla D1. К концу следующего года, по словам Илона Маска, производительность ИИ-систем Tesla может быть доведена до 100 Эфлопс. Стоимость проекта оценивается в $1 млрд. На обучение ИИ-моделей Tesla намерена потратить более $2 млрд в текущем году и примерно такую же сумму в 2024-м.

Компания Sylabs, занимающаяся разработкой программного обеспечения для HPC-систем, обвинила соперника Ctrl IQ (CIQ) и её основателя Грега Курцера (Greg Kurtzer), который наиболее известен созданием CentOS, в краже данных, составляющих коммерческую тайну. Как сообщает The Register, компания считает, что эта информация позволила главе CIQ основать свой бизнес, хотя тот называет обвинения беспочвенными.

Иск был подан в Калифорнии ещё в феврале этого года, но материалы по нему стали доступны публике тольком летом. Курцер ранее работал главой Sylabs, но в марте 2020 года основал собственную компанию CIQ, которая в числе прочего также занимается технологиями, связанными с HPC-решениями. Одним из важных проектов CIQ является спонсорство разработки ОС Rocky Linux.

Изображение: CIQ

Основным проектом Sylabs является открытая контейнерная платформа Singularity. При этом разработчик предлагает и смежные платные продукты и сервисы — именно с ними связан иск к CIQ и Курцеру. Sylabs обвиняет Курцера и некоторых других его коллег в скоординированном увольнении в марте 2020 года. Причём некоторые из бывших сотрудников Sylabs, как предполагается, незадолго до официального ухода «навестили» серверы работодателя и похитили интеллектуальную собственность.

Sylabs утверждает, что разрабатывала проприетарную коммерческую технологию Fuzzball для управления HPC-системами, но Курцер якобы присвоил её и сделал доступной в формате open source специально для того, чтобы ей могла бесплатно пользоваться созданная им CIQ. При этом последняя подала заявки на регистрацию патентов как на Fuzzball, так и на ещё одну технологию Sylabs — Armored Containers для защиты контейнеров.

Истцы утверждают, что соответствующие технологии они разрабатывали ещё в 2019 году — и этому есть доказательства. Дополнительно Курцер, возможно, скачивал документы компании, связанные с процессом продаж и даже перенаправлял запросы на покупку ПО на личные почтовые адреса до своего увольнения 1 апреля 2020 года. В ряде правонарушений обвиняются и другие сотрудники, а также компании OpenDrives и IAG Capital Partners, которые, инвестировали в CIQ, якобы понимая, что новая компания ведёт дела недобросовестно.

Изображение: CIQ

По словам представителя Sylabs, Курцер и его соратники замешаны в краже у Sylabs интеллектуальной собственности, сведений, составляющих коммерческую тайну, корпоративных секретов, конфиденциальной информации о персонале, клиентах и партнёрах. Также Курцер опубликовал интеллектуальную собственность Sylabs как ПО с открытым кодом, которое и стало базой для создания продуктов CIQ, в результате привлёкшей $33 млн инвестиций. Наконец, попытки получения патентов в США также незаконны, считает Sylabs.

В CIQ отвергают все обвинения, заявляя, что речь идёт всего лишь о зависти конкурента — CIQ якобы добилась большего успеха, чем Sylabs. Отмечается, что Курцером и его единомышленниками при увольнении было заключено соглашение, согласно которому Sylabs не возражала против основания компании с независимо разработанным ПО и отказывалась от претензий в будущем. CIQ действительно активно развивается — компания в конце прошлого месяца анонсировала партнёрскую программу.

Компания CyrusOne предложила дизайн ЦОД, специально оптимизированный для работы с ИИ-проектами. Как сообщает DataCenter Dynamics, он комбинирует погружное охлаждение и другие технологии, благодаря чему можно добиться высокой плотности размещения ресурсов на стойку — до 300 кВт на стойку. Недавно Digital Realty предложила клиентам 70-кВт стойки.

По словам CyrusOne, проект Intelliscale способен поменять правила игры в индустрии ИИ-решений и является первым в своём роде — специально разработанным под нужды ИИ-приложений и сервисов. Мощности Intelliscale специально созданы для обслуживания высокопроизводительного аппаратного обеспечения. Задействованы прямое жидкостное охлаждение процессоров, встроенные в дверцы теплообменники и погружное охлаждение. При этом модульная структура и дизайн Intelliscale предусматривает нулевое потребление воды.

Источник изображения: CyrusOne

По данным CyrusOne, новые решения могут занимать всего четверть от площади сопоставимых классических ЦОД (в зависимости от решаемых задач). При этом сами здания могут быть как одно-, таки многоуровневыми. В некоторых случаях она позволяет модернизировать и уплотнить уже существующие ИИ-мощности. По словам CyrusOne, внедрение Intelliscale сегодня позволит обеспечить работу ресурсоёмкого оборудования в будущем, поскольку спрос на ИИ будет только увеличиваться. Технология позволит бизнесам выходить на рынок быстро и с меньшими затратами, чем с использованием классических ЦОД.