Проект NVIDIA Grace весьма амбициозен: компания всерьёз намерена ворваться с его помощью на рынок высокопроизводительных серверных процессоров, где всё ещё доминируют решения Intel и AMD. Об этом чипе было объявлено ещё на конференции GTC 2022, а на GTC 2023 глава компании, наконец, показал его вживую.

В рамках продолжающегося роста плотности упаковки вычислительных мощностей в современных ЦОД на первый план выдвинулась не голая производительность, а соотношение производительности к уровню энергопотребления и тепловыделения. По сочетанию этих параметров x86 далеко не оптимальна, и тут у NVIDIA есть все шансы. С анонсом Grace Superchip NVIDIA провозглашает (впрочем, уже не в первый раз) смерть «закона Мура» — пришло время оптимизации и отказа от устаревших, по мнению компании, вычислительных архитектур.

Источник изображений здесь и далее: NVIDIA

Процессор NVIDIA Grace воплощает в себе все современные тенденции, начиная с отказа от монолитного кристалла. Сборка Grace Superchip состоит из двух кристаллов, каждый из которых включает в себя 72 ядра Arm Neoverse V2 (Arm v9), поддерживающих векторные расширения SVE2 и оптимизированные для ИИ форматы BF16/INT8. Кристаллы соединены между собой шиной NVLink-C2C, обеспечивающей пропускную способность 900 Гбайт/с.

В сборку интегрированы чипы памяти LPDDR5x общим объёмом до 960 Гбайт, причём каждый кристалл имеет свою шину доступа к памяти с производительностью 500 Гбайт/с. При этом с точки зрения ПО Grace Superchip представляется единым 144-ядерным процессором с ПСП на уровне 1 Тбайт/с.

Для достижения схожих параметров в мире x86 требуется двухпроцессорная платформа AMD Genoa, куда более сложная технически и гораздо менее энергоэффективная, но при этом обладающая всеми недостатками NUMA-систем. Достаточно сравнить энергопотребление: 900 Вт против 500 у нового решения NVIDIA.

NVIDIA есть чем гордиться: при сопоставимом уровне энергопотребления Grace Superchip превосходит своих конкурентов из мира x86 в 2,3 раза при запуске микросервисов, вдвое опережает их в приложениях с интенсивным обменом данными с памятью и почти вдвое — в задачах симуляции вычислительной гидродинамики. В ряде других научно-технических задач преимущество может быть и более чем двукратным.

Это достигнуто в том числе благодаря изначальной оптимизации дизайна процессора с упором на максимальную производительность передачи данных. Внутренне Grace организован по принципу меш-сети с распределённой системой кеширования на базе специальных узлов коммутации CSN (Cache Switch Nodes). Называется эта сеть Scalable Coherency Fabric, она имеет пропускную способность 3,2 Тбайт/с, а объём кеша L3 составляет 117 Мбайт на кристалл и 234 Мбайт совокупно.

Сервер на базе NVIDIA Grace не только может потреблять меньше энергии, но и будет существенно проще конструктивно, поскольку модуль Grace Superchip содержит не только процессорные ядра и память, но также и регуляторы напряжения. От платформы на базе нового процессора требуется только PCIe 5.0 — у нового чипа есть два набора по 64 линии. Причём линии с поддержкой CXL 2.0, так что проблем с расширением доступного объёма памяти новинка испытывать не будет.

Даже компактные серверы высотой 1U смогут вместить две сборки Grace Superchip, что даст 288 ядер и почти 2 Тбайт оперативной памяти — труднодостижимый в таких габаритах показтель для более традиционных конструктивов процессоров и системных плат. Сравнительно невысокий теплопакет позволит таким решениям обходиться традиционным воздушным охлаждением.

При этом есть и вариант Grace Hopper, сочетающий в одном модуле кристалл Grace и новейший GPU H100, причём параметрами PCI Express последний ограничен не будет благодаря NVLink-C2C. NVIDIA уже начала первичные поставки Grace, а начало полномасштабного производства ожидается во второй половине года. Новыми процессорами заинтересовались крупные производители оборудования, включая ASUS, Atos, GIGABYTE, HPE, QCT, Supermicro, Wistron и ZT Systems.

Лос-Аламосская национальная лаборатория объявила, что использует NVIDIA Grace в новом суперкомпьютере Venado, который поможет учёным в исследованиях новых материалов и возобновляемых источников энергии. Ряд крупных европейских и азиатских ЦОД также рассматривает перспективы применения новых процессоров NVIDIA. В частности, одной из систем на базе Grace станет кластер Alps в Швейцарском национальном компьютерном центре.

Компания Rambus объявила о расширении средств обеспечения безопасности благодаря получению технологий Arm CryptoCell и CryptoIsland IP. Уже проданные самой Arm лицензии на соответствующие IP-блоки затронуты не будут, а в дальнейшем разработчики полупроводниковых изделий смогут лицензировать соответствующую интеллектуальную собственность непосредственно у Rambus.

Технологии Arm CryptoCell и CryptoIsland IP дополнят решение Rambus Data-at-Rest, что предоставит заказчикам больше возможностей для создания безопасных SoC с использованием сертифицированных решений Root of Trust. Речь идёт об использовании изделий серии Rambus RT-1xx, сертифицированных по стандарту FIPS 140, для недорогих IoT-клиентов, серверов и шлюзов, а также серии RT-2xx для микроконтроллеров. В свою очередь, сертифицированная по стандарту FIPS 140 серия Rambus RT-6xx System Security Manager ориентирована на защищённые интеллектуальные системы периферийных вычислений и дата-центры, а также на правительственный, аэрокосмический и оборонный сегменты.

Источник: Rambus

CryptoCell CC-312, CC-712 и CC-713 — это облегчённые ядра без основного процессора или контроллера, которые предоставляют средства управления ключами и криптосервисы для SoC на базе Arm Cortex-M и Cortex-A с поддержкой TrustZone. Ядра CryptoCell будут доступны вместе с ядрами RT-1xx Root of Trust для датчиков, шлюзов и других устройств в сегменте IoT. А CryptoIsland CI-300 — это узел безопасности, который можно использовать изолированно от хост-процессора. Благодаря возможности безопасного программирования ядро CryptoIsland будет предлагаться вместе с серией Rambus RT-6xx Root of Trust. Основными сферами использования станут смарт-карты, процессоры для мобильных устройств и модемы 5G.

На этой неделе премьер-министр Великобритании Риши Сунак (Rishi Sunak) представил программу, которая позволит стране «укрепить своё место в качестве мировой сверхдержавы в области науки и технологий к 2030 году». Одним из главных проектов программы должно стать создание HPC-системы, способной соперничать по мощности с самым производительным суперкомпьютером в мире Frontier (без учёта китайских OceanLight и Tianhe-3), установленным в США. По словам источников, министерство финансов пока не дало согласия на финансирование проекта.

Согласно данным источников ресурса Bloomberg, в настоящее время канцлер казначейства Великобритании обсуждает предложение Департамента науки, инноваций и технологий, созданного в феврале, вложить £800 млн ($946 млн) в создание суперкомпьютера. Frontier, к примеру, обошёлся США в $600 млн. Как утверждают в департаменте, суперкомпьютер обеспечит финансовый импульс отечественной технологической отрасли, поскольку, как предполагается, вычислительная система будет построена британскими фирмами с использованием чипов и систем, созданных британскими же производителями. То есть участие американской HPE и французской Atos, построивших многие из самых мощных суперкомпьютеров в мире, не предполагается.

ARCHER2 — самый мощный суперкомпьютер Великобритании (Фото: EPCC/The University of Edinburgh)

Ресурс The Register допустил, что ответственность за создание суперкомпьютера возложат на британский стартап Graphcore, который уже работает над ИИ-суперкомпьютером Good Machine. Стоит эта система около $120 млн, а производительность её составляет 10 Эфлопс в вычислениях пониженной точности (не FP64). The Register также допускает участие в проекте Arm, поскольку в Великобритании был запущен в работу первый в мире Arm-суперкомпьютер Isambarad, а японский Fugaku возглавлял TOP500. Ещё одним потенциальным участником проекта называется американская NVIDIA, которая также задействует Arm-ядра в новейших чипах Grace Superchip и Grace Hopper.

Источник: Hyperion Research

Ситуация с мощными машинами усугубляется тем, что Великобритания в связи с Brexit'ом покинула консорциум EuroHPC, в создании которого принимала активное участие. Суперкомпьютеры EuroHPC уже занимают третье (финский LUMI от HPE) и четвёртое (итальянский Leonardo от Atos) место в последнем TOP500. В скором времени EuroHPC будут развёрнуты самый мощный европейский ИИ-суперкомпьютер MareNostrum-5, первый экзафлопсный суперкомпьютер JUPITER и шесть квантовых компьютеров. При этом Евросоюз активно вкладывается в создание собственных CPU и ускорителей, а также СХД.

Японская корпорация Fujitsu, по сообщению The Register, готовит новый серверный Arm-процессор под кодовым именем MONAKA. Это изделие станет преемником чипа Fujitsu A64FX, который применяется, в частности, в суперкомпьютере Fujitsu Fugaku и иных HPC-системах (PRIMEHPC). Ожидается, что чип MONAKA дебютирует в 2027 году, а первые системы на его основе появятся в 2028-м. Впрочем, заявку на соответствующую торговую марку Fujitsu подала в США более года назад.

Изображение: Fujitsu

Говорится, что изделие подойдёт для HPC-систем, а также для решения задач, связанных с ИИ и аналитикой данных. MONAKA проектируется с прицелом на высокую энергоэффективность. Как заявляет Fujitsu, новинка обеспечит 1,7-кратный выигрыш в быстродействии и 2-кратное увеличение производительности в пересчёте на 1 Вт затрачиваемой энергии по сравнению с другими CPU, которые будут доступны на момент появления MONAKA на рынке. Таким образом, как отмечается, новинка будет в большей степени походить на Arm-чипы Ampere, нежели на своего предшественника A64FX.

Изображение: Fujitsu

Разработка MONAKA является частью программы, курируемой Японской Организацией по развитию новых энергетических и промышленных технологий (NEDO). Целью данной инициативы является повышение энергоэффективности ЦОД (экономия не менее чем 40 % энергии) к 2030 году. Fujitsu заявила, что не только внесёт свой вклад в данную программу, создав энергоэффективный CPU, но и будет развивать различные проекты в области смежных технологий, таких как ускорители с низким энергопотреблением, интеллектуальные сетевые системы на основе фотоники и пр.

В течение последних лет AMD и Arm подвергли серьёзному сомнению обоснованность претензий Intel на лидерство на рынке серверных процессоров. 2022 год был особенно удачным для AMD, расширившей своё присутствие на рынке благодаря тому, что операторы ЦОД и серверные бренды признали, что её решения превосходят решения Intel, отметили аналитики DIGITIMES Research.

Согласно их прогнозу, в 2023 году доля AMD на рынке серверных процессоров значительно превысит 20 %, в то время как у Arm доля составит около 8 %. Аналитик отметил, что более низкая цена чипов AMD является лишь одним из трёх факторов, которые способствовали переходу операторов ЦОД и производителей серверов на её продукты. При сравнении серверных CPU AMD и Intel с одинаковым количеством ядер, тактовой частотой и аппаратными характеристиками выясняется, что ценники большинства продуктов AMD как минимум на 30 % ниже, но разница может достигать и более 40 %. Столь большой отрыв в цене имеет ключевое значение для серверных компаний, обычно осуществляющих закупки чипов в больших объёмах, и выбор решений AMD позволил им значительно сократить затраты.

В связи с тем, что процессоры Intel и AMD основаны на архитектуре x86, совместимость с другим оборудованием и ПО не является проблемой для производителей серверов, отметили аналитики, добавив, что большое количество ядер у процессоров AMD также делает их идеальными для серверной среды. 96-ядерный процессор AMD EPYC Genoa вышел в IV квартале 2022 года, а 128-ядерный процессор компании, как ожидается, увидит свет в первой половине 2023 года, тогда как лучшее на данный момент предложение Intel включает 60 ядер. Второй фактор успеха AMD — поддержка TSMC. Все серверные CPU AMD изготавливаются с использованием нового техпроцесса TSMC, что обеспечивает им высокую производительность, отмечает DIGITIMES Research, и позволяет строго придерживаться графика выпуска продуктов, чего не скажешь об Intel.

Источник изображения: DIGITIMES

Третьим фактором, по мнению Фрэнка Кунга, является то, что Intel производит чипы самостоятельно. Как утверждают основные поставщики, производство чипов Intel в течение последних нескольких лет не отличалось стабильностью, из-за чего компании приходилось переносить сроки массового выпуска новых серверных чипов, что вынуждало производителей серверов менять свои планы. Среди провайдеров ЦОД наибольшей популярностью серверы на базе AMD пользуются у Microsoft и Google, у которых на них приходится более 30 % заказов на поставку. А среди серверных брендов наиболее заинтересована в процессорах AMD компания HPE.

По словам DIGITIMES Research, в долгосрочной перспективе серверные Arm-процессоры по-прежнему будут иметь потенциал для значительного роста, хотя в 2022 году с точки зрения увеличения доли рынка они уступали чипам AMD, и в 2023 году рост замедлится ещё больше. Однако в долгосрочной перспективе процессоры на базе Arm по-прежнему будут иметь потенциал для значительного роста. Наибольшей проблемой для них является совместимость. И эта проблема будет существовать до тех пор, пока не появится больше серверов на базе Arm, что привлечёт больше разработчиков ПО. Вместе с тем, как отметили в DIGITIMES Research, операторы ЦОД и серверные бренды возлагают большие надежды на архитектуру Arm.

Google намерена повторить успех Amazon в деле создания серверных CPU — в облаке AWS доступно уже третье поколение Arm-чипов Graviton собственной разработки, на долю которых в 2022 году пришлось 10 % выручки EC2. Как сообщает The Information со ссылкой на информированные источники, Google достигла важной вехи в создании процессоров, которые могут появиться в облаке Google Cloud уже через два года.

По данным The Information, сейчас в разработке находятся сразу два 5-нм Arm-процессора. Первый чип с кодовым именем Maple основан на наработках Marvell Technology и уже отправлен на TSMC для выпуска тестовой партии. Второй чип, известный как Cypress, является полностью собственной разработкой Google, за которую ответственен израильский офис компании. Он будет отправлен на TSMC во II квартале.

Источник изображения: Google

Google надеется, что собственные чипы помогут ей снизить расходы и увеличить независимость от сторонних поставщиков. Пока что компания решила сэкономить, увеличив срок эксплуатации серверов и некоторого сетевого оборудования с четырёх до шести лет и снизив закупки серверов. Также сообщается, что решения на базе новейших процессоров Intel Xeon Sapphire Rapids и AMD EPYC Genoa не удовлетворили Google по уровню совокупной стоимости владения (TCO).

Создание собственных CPU в таком случае будет как нельзя кстати. К тому же у компании уже есть опыт разработки чипов, включая ИИ-ускорители TPU и видеокодеры Argos. Массовое производство Maple и Cypress ожидается в 2024 году, а их появление в Google Cloud — в 2025 году. К этому моменту ещё один гиперскейлер — Alibaba Cloud — планирует перевести 20 % мощностей на Arm-процессоры Yitian собственной разработки.

В ходе отчёта за III квартал 2022 финансового года SoftBank отдельно отметила, что доля принадлежащей ей Arm на облачном рынке выросла до 5 %. Рост на фоне других сегментов — c 90 % в 2016 году до 95 % в 2021 году на мобильном рынке, с 30 % до 63 % в области IoT и с 10 % до 24 % в автоиндустрии — не кажется таким значительным, но начался он практически с нуля. Всего по итогам квартала Arm выручила $746 млн (+28 % год к году).

Arm отметила сотрудничество с «большой тройкой» облаков в лице Amazon, Google и Microsoft. Правда, подход у этих компаний разный. AWS давно развивает собственные процессоры серии Graviton. В конце 2021 года компания анонсировала уже третье поколение этих CPU, а в прошлом году более специализированную модель Graviton3E. AWS активно продвигает эти процессоры, а также переводит на них всё большее число публичных и внутренних сервисов и служб. Но занимается она этим исключительно ради достижения большей независимости от сторонних поставщиков и снижения расходов.

Источник: Arm

В облаках Google и Microsoft, равно как и на площадках Baidu, Equinix, Oracle, Hetzner, Tencent и др., прописались процессоры Altra от Ampere Computing. Ушедший год для последней вообще был очень успешен, поскольку помимо экспансии на облачный рынок компанию признали и производители серверов первого эшелона. Чуть особняком стоят Huawei и Alibaba, которые тоже используют в своих облачных платформах процессоры собственной разработки, HiSilicon Kunpeng и T-Head Yitian.

Аналитики DigiTimes Research ожидают, что в 2024 году доля Arm на серверном рынке в целом вырастет до 10 %. При этом сама Arm, похоже, рада не всем новичкам в этом сегменте — в прошлом году компания подала иск к Qualcomm, пожелавшей задействовать наработки поглощённой ею Nuvia для возврата на серверный рынок. А путь на этот рынок для Arm-платформ был очень долгим и непростым.

Grace можно назвать одним из самых амбициозных проектов NVIDIA. О намерении ворваться на рынок мощных серверных процессоров компания объявила ещё на GTC 2022, но до недавних пор о чипах Grace были доступны лишь общие сведения. Однако ситуация меняется. NVIDIA явно располагает рабочим «кремнием», и на днях опубликовала пару деталей о Grace Superchip. Ожидается, что официальный анонс новинки состоится в марте этого года на GTC 2023.

Эта сборка включает в себя два 72-ядерных кристалла Grace, использующих ядра Arm Neoverse V2. Данное ядро использует набор инструкций Armv9, а также имеет четыре 128-битных блока векторных расширений SVE2, блоки для работы с матрицами и поддержку BF16/INT8. Объём кеша L1 составляет по 64 Кбайт для инструкций и данных, L2 — 1 Мбайт на ядро, а общий объём L3 на сборку достигает 234 Мбайт.

Блок-схема сборки Grace Superchip. Источник изображений здесь и далее: NVIDIA

Между собой кристаллы соединены шиной NVLink C2C с пропускной способность 900 Гбайт/с, и работают они как единый 144-ядерный процессор. Но это ещё не всё: каждый из кристаллов соединен со своим банком памяти LPDDR5x ECC шиной с пропускной способностью 500 Гбайт/с (т.е. суммарно на чип получается 1 Тбайт/с). Совокупный объём памяти может достигать 960 Гбайт.

Сравнение производительности и энергоэффективности Grace Superchip с двумя AMD EPYC 7763 (Milan)

Сборка Grace Superchip общается с внешним миром посредством восьми комплексов PCIe 5.0 x16 (всего 128 линий, поддерживается бифуркация). Чип при теплопакете 500 Вт (вместе с набортной памятью) способен развивать 7,1 Тфлопс на вычислениях двойной точности. С учетом интегрированной памяти это делает Grace Superchip интересной альтернативой AMD Genoa.

Программная экосистема платформы NVIDIA Grace. По клику открывается полноразмерная версия.

Помимо данных о производительности в режиме FP64 компания уже опубликовала результаты тестов новинки в HPC-нагрузках, где сравнила своё детище с двухсокетной системой на базе AMD EPYC 7763. Выигрыш в производительности составляет от 1,5x до 2,5x, но что не менее важно — Grace Superchip намного эффективнее энергетически, здесь преимущество может достигать 3,5x. В условиях высокоплотных ЦОД или HPC-кластеров это может стать решающим.

Российский провайдер IT-инфраструктуры Selectel начал предоставлять услуги по аренде серверов на Arm-архитектуре. Утверждается, что на сегодняшний день Selectel является единственной в России компанией, которая обеспечивает такую возможность. Заказчикам доступна кастомная конфигурация сервера Gigabyte на аппаратной платформе Ampere Computing.

Изображение: Ampere Computing

Применён Arm-процессор Altra Max M128-30, насчитывающий 128 ядер с тактовой частотой до 3,0 ГГц. Конфигурация ARM01-NVMe включает 256 Гбайт памяти DDR4 и два NVMe SSD вместимостью 1,92 Тбайт каждый. Стоимость аренды составляет 80 000 руб. в месяц. Облачные решения на базе Arm-процессоров Ampere Altra уже предлагают зарубежные провайдеры. В их число входят платформы Google Cloud, Microsoft Azure, Oracle Cloud Infrastructure, Hetzner Online, Equinix и другие.

«Серверы на архитектуре Arm показывают высокую производительность в таких задачах, как моделирование и разработка инженерных систем, веб-сервисов и мессенджеров, хранение данных и их обработка с помощью машинного обучения», — отмечает провайдер. Тем клиентам, которые ранее не работали с Arm-платформами, компания предлагает бесплатно протестировать конфигурацию в Selectel Lab.

Selectel начала разворачивать системы с архитектурой Arm в 2020 году. Тогда стала доступна платформа на базе китайских процессоров HiSilicon Kunpeng 920, однако из-за коронавирусных ограничений и нарушения цепочек поставок масштабирование услуги пришлось приостановить. Годом позже уже сама Huawei открыла для российских разработчиков и исследователей небольшой ЦОД с системами Taishan и Atlas.

Платформа Arm продолжает активно прокладывать себе путь в мире серверов. Supermicro в серии решений MegaDC для гиперскейлеров представила новую платформу под кодовым названием Mt. Hamilton с унифицированным дизайном системной платы. Назначение новинки — облачные системы широкого профиля, рассчитанные на облачный гейминг, видео по требованию, высокоплотные системы VDI, объектные СХД, СУБД, а также периферийные телекоммуникации.

Основа платформы Supermicro Mt. Hamilton. Источник: Supermicro

В конструкцию заложен принцип модульности, позволяющий гибко конфигурировать систему с учётом выполняемых задач. Сердцем новых серверов является унифицированная односокетная системная плата, в которую может устанавливаться процессор Ampere Altra или Altra Max, включая вариант со 128 ядрами. Объём оперативной памяти DDR4 может достигать 4 Тбайт в 16 слотах DIMM. Возможно расширение как посредством обычных PCIe-плат, так и посредством модулей OCP V3.0 SFF AIOM.

Вариации 2U-сервера MegaDC ARS-210M-NR для разных задач

В серию входят серверы в форм-факторах 1U или 2U, рассчитанные на установку до четырёх двухслотовых ускорителей (в зависимости от модели), либо на установку до 24 NVMe-накопителей U.2. Даже набортная сетевая подсистема новинок достаточно мощна: она построена на базе чипа Mellanox ConnectX-4 и имеет 25GbE-порты SFP28.

MegaDC ARS-110M-NR: до 128 ядер в форм-факторе 1U

Система охлаждения у новой платформы Mt. Hamilton воздушная, в обычном серверном исполнении она способна работать при окружающей температуре до +35 °C, а варианты для периферийного размещения способны справляться и с +35 °C. По словам представителя Ampere, платформа Mt. Hamilton сможет обеспечить двух- или даже трёхкратный выигрыш в облачных сценариях в пересчёте на серверную стойку, что обеспечит заказчикам лучшую степень масштабируемости в сравнении с классическими решениями.