Как правило, флагманские GPU-серверы сегодня используют модули ускорителей, выполненные либо в форм-факторе SXM (NVIDIA), либо OAM (все остальные). Такая компоновка помогает бороться с огромным тепловыделением, но в силу конструкции самих модулей не обеспечивает максимальной вычислительной плотности, поэтому каждый такой сервер вмещает не более восьми ускорителей. Компания Supermicro выбрала другой путь и анонсировала 3U-платформу SYS-322GB-NR, способную вместить до 18 ускорителей.

Источник изображений: Supermicro

Разработчикам SYS-322GB-NR удалось довести количество полноразмерных двухслотовых ускорителей в одном шасси до 10, а при использовании плат одинарной толщины — до 18. Этого достаточно для обработки серьёзных LLM-нагрузок, систем визуализации, VDI-платформ и т.д.

Компания не говорит о том, какие именно ускорители поддерживаются новинкой, упоминая только имена NVIDIA и AMD. В случае с NVIDIA, вероятно, речь идёт о картах L4, которые являются универсальными ускорителями с неплохой производительностью — 242 Тфлопс в формате FP16, 485 Топс в режиме INT8. Таким образом, 18 ускорителей способны в пределе обеспечить 4,35 Пфлопс или свыше 8,7 Петаопс. Помимо этого, L4 может обрабатывать 130 видеопотоков в формате AV1 с разрешением 720p30 и имеет 24 Гбайт видеопамяти с пропускной способностью 300 Гбайт/с.

Не вполне ясно, как в новинке организована коммутация PCI Express. Несмотря на использование двух процессоров Intel Xeon Granite Rapids (6900), их совокупные 192 линии PCIe 5.0 явно недостаточны для организации 20 слотов x16, а ведь ещё и накопители надо подключить. Возможно, система переводит слоты в режим x8, но, скорее всего, используются современные чипы-коммутаторы PCIe 5.0, например, XConn Apollo.

Система поддерживает установку до 6 Тбайт RAM, в том числе модулей MRDIMM DDR5-8800. Дисковая подсистема может вмещать 14 NVMe-накопителей в формате E1.S или шесть U.2 SSD. С учётом энергопотребления современных двухслотовых GPU, система питания должна способна обеспечивать мощность в районе 5,5 КВт.

Стала известна стоимость процессоров Intel Xeon 6900P семейства Granite Rapids, которые были официально представлены 24 сентября нынешнего года. Цена чипов достигает $17 800 — это самый высокий показатель для современных изделий с архитектурой x86.

Серия Xeon 6 Granite Rapids включает процессоры, насчитывающие до 128 ядер. Чипы несут на борту до 504 Мбайт кеша, а показатель TDP достигает 500 Вт. Обеспечивается поддержка памяти DDR5-6400 и MCR-8800, до 96 линий PCIe Gen 5.0/CXL 2.0 и до 6 линий UPI 2.0.

Как сообщается, в $17 800 оценён флагманский процессор Xeon 6980P со 128 ядрами (приблизительно $139 в пересчёте на одно ядро). Для сравнения, чип предыдущего поколения Xeon Platinum 8592+ (Emerald Rapids) на старте продаж имел цену в $11 600 (спецверсия для СЖО стоила $12 400). Вместе с тем 128-ядерный AMD EPYC 9754 (Bergamo) сразу после выхода предлагался за $11 900, а 96-ядерный EPYC 9684X (Genoa-X) — за $14 756.

Источник изображения: Intel

Названа также стоимость других представителей Intel Xeon 6900P. В частности, 120-ядерный Xeon 6979P оценён в $15 750, что эквивалентно $131 за ядро. Модель Xeon 6972P с 96 ядрами стоит $14 600, или $152 за ядро. 72-ядерный Xeon 6960P обойдётся в $13 750 ($191 за ядро). Процессор Xeon 6952P с 96 ядрами стоит $11 400, или $119 в пересчёте на ядро.

Указанные цифры являются прейскурантными. Отмечается, что гиперскейлеры и крупные клиенты получают процессоры по цене значительно ниже той, что указана в официальных прайс-листах. То же самое касается и процессоров AMD.

Премьер-министр Индии Нарендра Моди, по сообщению The Register, объявил о вводе в эксплуатацию трёх новых высокопроизводительных вычислительных комплексов PARAM Rudra. Запуск этих суперкомпьютеров, как отмечается, является «символом экономической, социальной и промышленной политики» страны.

Вдаваться в подробности о технических характеристиках машин Моди во время презентации не стал. Однако некоторую информацию раскрыли организации, которые займутся непосредственной эксплуатацией этих НРС-систем.

Один из суперкомпьютеров располагается в Национальном центре радиоастрофизики Индии (NCRA). Данная машина оснащена «несколькими тысячами процессоров Intel» и 90 ускорителями NVIDIA A100, 35 Тбайт памяти и хранилищем вместимостью 2 Пбайт. Ещё один НРС-комплекс смонтирован в Центре фундаментальных наук имени С. Н. Бозе (SNBNCBS): известно, что он обладает быстродействием 838 Тфлопс.

Оператором третьей системы является Межуниверситетский центр ускоренных вычислений (IUAC): этот суперкомпьютер с производительностью на уровне 3 Пфлопс использует 24-ядерные чипы Intel Xeon Cascade Lake-SP. Ёмкость хранилища составляет 4 Пбайт. Упомянут интерконнект с пропускной способностью 240 Гбит/с.

The Register отмечает, что указанные характеристики в целом соответствуют описанию суперкомпьютеров Rudra первого поколения. Согласно имеющейся документации, такие машины используют:

• Материнскую плату половинной ширины для серверов формата 1U или 2U — до 64 серверов в стойке суммарной мощностью 40 кВт;
• Два процессора Intel Xeon Cascade Lake-SP;
• Два неназванных GPU-ускорителя;
• Два NVMe SSD стандарта U.2;
• Два порта 10GbE и дополнительный сетевой адаптер;
• Интерконнект Trinetra — шесть полнодуплексных интерфейсов со скоростью 100 Гбит/с;
• Технологию прямого жидкостного охлаждения собственной разработки.

Ожидается, что машины Rudra второго поколения получат поддержку процессоров Xeon Sapphire Rapids и четырёх GPU-ускорителей. Суперкомпьютеры третьего поколения будут использовать 96-ядерные Arm-процессоры AUM, разработанные индийским Центром развития передовых вычислений: эти изделия будут изготавливаться по 5-нм технологии TSMC.

Источник изображения: pixabay.com

Между тем компания Eviden (дочерняя структура Atos) сообщила о поставках в Индию двух новых суперкомпьютеров. Один из них установлен в Индийском институте тропической метеорологии (IITM) в Пуне, второй — в Национальном центре среднесрочного прогнозирования погоды (NCMRWF) в Нойде. Эти системы, построенные на платформе BullSequana XH2000, предназначены для исследования погоды и климата. В создании комплексов приняли участие AMD, NVIDIA и DDN.

Система IITM, получившая название ARKA, обладает быстродействием 11,77 Пфлопс: 3021 узел с AMD EPYC 7643 (Milan), 26 узлов с NVIDIA A100, NVIDIA Quantum InfiniBand и хранилище на 33 Пбайт (ранее говорилось о 3 Пбайт SSD + 29 Пбайт HDD). В свою очередь, суперкомпьютер NCMRWF под названием Arunika обладает производительностью 8,24 Пфлопс: 2115 узлов с AMD EPYC 7643 (Milan), NVIDIA Quantum InfiniBand и хранилище DDN EXAScaler ES400NVX2 (2 Пбайт SSD + 22 Пбайт HDD). Кроме того, эта система включает выделенный блок для приложений ИИ и машинного обучения с быстродействием 1,9 Пфлопс (точность не указана), состоящий из 18 узлов с NVIDIA A100.

Корпорация Intel, по сообщению ресурса HPC Wire, оптимизирует свои новейшие серверные процессоры Xeon 6 поколения Granite Rapids специально для систем, в которых применяются ИИ-ускорители NVIDIA. Тем самым Intel рассчитывает увеличить продажи и улучшить свое финансовое положение.

О новой инициативе рассказал Ронак Сингхал (Ronak Singhal), старший научный сотрудник Intel. По его словам, NVIDIA является лидером на рынке ИИ-ускорителей, поэтому Intel тесно сотрудничает с этой компанией. Задача заключается в том, чтобы предоставить заказчикам, которые развёртывают системы на базе NVIDIA MGX или HGX, полный спектр процессоров Xeon, сертифицированных для работы с указанными платформами. «Это только начало сотрудничества, которое мы будем вести с NVIDIA в течение следующего года», — подчеркнул Сингхал.

Источник изображения: Intel

На фоне квартальных убытков в размере $1,61 млрд и резкого падения стоимости акций Intel ищет способы переориентировать бизнес на продукты с архитектурой x86. Корпорация ранее сообщила о намерении кастомизировать процессоры Xeon 6 для Amazon Web Services (AWS) и намекнула, что будет делать то же самое в интересах Google Cloud. При этом в своё время Intel подставила NVIDIA, изрядно задержав выход Sapphire Rapids, которые используются в системах DGX H100.

Intel и Amazon Web Services (AWS) объявили о намерении совместно инвестировать в разработку и выпуск кастомных чипов в рамках многомиллиардного многолетнего проекта, в котором будет задействовано производство Intel. Пресс-служба компании сообщает, что расширение сотрудничества поможет клиентам AWS справиться почти с любыми рабочими нагрузками и повысить производительность ИИ-приложений.

Intel будет выпускать ИИ-ускорители для AWS по техпроцессу Intel 18A в рамках инициативы AI Fabric, а также кастомные процессоры серии Xeon 6 по техпроцессу Intel 3. По словам руководства Intel и AWS, взаимодействие на новом уровне для работ в сфере ИИ и машинного обучения не только будут способствовать росту обеих компаний, но и обеспечат устойчивую цепочку поставок ИИ-решений непосредственно на территории США. При этом производственное подразделение Intel Foundry фактически превратится в независимую дочернюю компанию Intel.

Заявление о расширенном сотрудничестве подкрепляет обязательства компаний по ускоренной организации производства полупроводников на территории США и созданию динамичной ИИ-экосистемы в Огайо. Intel по-прежнему планирует создание передовых производств полупроводников в этом штате (в районе Нью-Олбани), а AWS намерена вложить $7,8 млрд в расширение ЦОД в Центральном Огайо — помимо тех $10,3 млрд, которые уже инвестированы в штат с 2015 года.

Власти Огайо приветствуют инициативу и предполагают, что это поможет укрепить позиции штата в качестве лидера ИИ-сферы и демонстрирует приверженность Intel развитию национальных производственных площадок, а AWS — инвестициям в штат в качестве оператора ЦОД.

Источник изображения: Intel

В AWS подчёркивают, что сотрудничество с Intel началось ещё в 2006 году с создания EC2-инстансов на чипах последней. История отношений Intel и AWS насчитывает более 18 лет. В дальнейшем компании намерены изучить потенциал новых разработок на основе техпроцесса Intel 18A, а также перспективных Intel 18AP и Intel 14A. Соответствующие технологии будут, как ожидается, внедряться на фабрике в Огайо, которую ещё предстоит построить.

Правда, в своём пресс релизе Intel не преминула добавить стандартную приписку, что заявления относительно выгод и влияния сотрудничества на бизнес основаны на ожиданиях руководства компаний и влекут за собой «риски неопределённости», поскольку многие факторы находятся вне контроля партнёров.

Корпорация Intel, по сообщению ресурса ServeTheHome, готовит специальные версии процессоров Xeon 6 на основе производительных P-ядер (семейство Granite Rapids). Изделия R1S получат увеличенное количество линий PCIe 5.0, но при этом будут предназначены исключительно для односокетных систем.

В вариантах 1S, 2S, 4S и 8S чипы Xeon Granite Rapids предлагают до 96 линий PCIe 5.0, до 64 линий CXL 2.0 и 12 каналов оперативной памяти (DDR5-6400 и MCR-8800). В семейство входят модели с 32, 44, 56, 72, 96, 120 и 128 ядрами Redwood Cove. Они имеют поддержку SMT и до 504 Мбайт L3-кеша. Величина TDP составляет до 500 Вт.

Источник изображения: Intel

Процессоры Xeon 6 R1S, как сообщается, обеспечат поддержку 136 линий PCIe 5.0. Количество вычислительных ядер, по всей видимости, не превысит 86. Для установки чипов потребуется материнская плата с разъёмом LGA-4710. Показатель TDP не превысит 350 Вт. Среди прочего упомянута поддержка до 64 линий CXL 2.0, а также 8-канальной памяти DDR5-6400 или MCR DIMM.

Источник изображения: Intel

В конфигурации 1S у чипов Xeon Granite Rapids универсальные блоки ввода-вывода (UIO) IO-тайла вместо UPI-подключения могут предоставить линии PCIe. В общей сложности IO-тайл имеет два блока ввода-вывода для PCIe/CXL и четыре блока UIO, которые можно использовать для PCIe, CXL и UPI. Таким образом, отказавшись от UPI, Intel может предложить дополнительные линии PCIe, в результате чего их количество может достигать 136. Такая конфигурация ориентирована на клиентов, которым не нужно много вычислительных ядер, но требуется как можно больше линий PCIe. Похожий подход используется и в AMD EPYC, где для связи между сокетами тоже приходится «забирать» часть линий PCIe.

Компания Giga Computing, подразделение Gigabyte, анонсировала серверы G593-ZD1-LAX3 и G593-SD1-LAX3, предназначенные для ресурсоёмких нагрузок, связанных с ИИ. Устройства, оснащённые системой прямого жидкостного охлаждения (DLC) от CoolIT, могут нести на борту до восьми ускорителей NVIDIA HGX H200.

Источник изображений: Gigabyte

Модель G593-ZD1-LAX3 выполнена в форм-факторе 5U. Допускается установка двух процессоров AMD EPYC 9004 поколения Genoa с показателем TDP до 400 Вт. Предусмотрены 24 слота для модулей оперативной памяти DDR5-4800. Во фронтальной части расположены отсеки для восьми SFF-накопителей (NVMe/SATA/SAS-4). Есть два коннектора М.2 для SSD типоразмера 2280/22110 с интерфейсом PCIe 3.0 x4 и PCIe 3.0 x1.

Доступны восемь слотов PCIe 5.0 x16 для низкопрофильных карт расширения и четыре разъёма PCIe 5.0 x16 для карт FHHL. В оснащение входят два порта 10GbE (Intel X710-AT2), два выделенных сетевых порта управления 1GbE, два разъёма USB 3.2 Gen1.

В свою очередь, сервер G593-SD1-LAX3 рассчитан на два процессора Intel Xeon Emerald Rapids или Sapphire Rapids, величина TDP которых может достигать 350 Вт. Для модулей ОЗУ DDR5-4800/5600 предусмотрены 32 слота. Прочие характеристики (за исключением разъёмов М.2) аналогичны модели на платформе AMD.

Новые серверы укомплектованы шестью блоками питания мощностью 3000 Вт с сертификатом 80 PLUS Titanium. Присутствует контроллер Aspeed AST2600. Диапазон рабочих температур — от 10 до +35 °C. Система DLC предназначена для отвода тепла от ускорителей NVIDIA HGX H200. При этом в области материнской платы и слотов PCIe установлены вентиляторы охлаждения.

Компания Quanta Cloud Technology (QCT) анонсировала серверы на процессорах Intel Xeon 6, ориентированные на поставщиков облачных услуг, телекоммуникационных провайдеров и операторов ЦОД. Дебютировали решения серий QuantaGrid и QuantaPlex для различных рабочих нагрузок, включая задачи ИИ и НРС.

Отмечается, что серверы QCT построены с применением модульных компонентов, для монтажа которых не требуются инструменты. Доступны варианты с воздушным и жидкостным охлаждением, различной компоновкой подсистемы хранения данных, поддержкой ускорителей одинарной и двойной ширины. Реализована возможность горячей замены отдельных узлов, таких как блоки питания и вентиляторы.

Представлены модели QuantaGrid D55X-1U и QuantaGrid D55Q-2U типоразмера 1U и 2U соответственно. Они допускают установку двух чипов Xeon 6700E (Sierra Forest) с TDP до 350 Вт. Возможна установка 32 модулей DDR5-6400 RDIMM или 16 модулей MRDIMM (до 8000 МГц). У 1U-версии конфигурация подсистемы хранения в зависимости от исполнения включает: 12 × SFF NVMe/SATA/SAS SSD, 16 × E1.S NVMe SSD, 20 × E3.S 1T NVMe или 4 × E3.S 1T NVMe + 8 × E3.S 2T CXL. Карты расширения могут монтироваться по схеме 2 × PCIe 5.0 x16 FHHL, 2 × PCIe 5.0 x16 OCP 3.0 SFF и 1 × DC-SCM или 3 × PCIe 5.0 x16 HHHL, 2 × PCIe 5.0 x16 OCP 3.0 SFF и 1 × DC-SCM.

Источник изображений: QCT

Для сервера формата 2U предусмотрены варианты с поддержкой следующих накопителей: 12 × LFF SATA/SAS HDD или 12 × SFF NVMe, 24 × SFF NVMe/SATA/SAS или 12 × E3.S 1T NVMe + 12 × E3.S 2T CXL. Допускаются различные варианты монтажа карт PCIe 5.0 x8 FHHL, PCIe 5.0 x16 FHFL и PCIe 5.0 x8 HHHL. Серверы комплектуются двумя блоками питания с сертификатом 80 Plus Titanium (до 2700 и 3200 Вт соответственно).

Кроме того, анонсированы модели QuantaGrid S55R-1U и QuantaGrid S55J-2U формата 1U и 2U с поддержкой чипов Xeon 6700 с производительными P-ядрами (Granite Rapids). Раскрываются характеристики только 1U-сервера: один процессор с TDP до 350 Вт, 16 слотов для модулей DDR5-5200 RDIMM, 12 посадочных мест для SFF-накопителей NVMe/SATA/SAS SSD, два слота PCIe 5.0 x16 FHHL + слот OCP 3.0 NIC SFF, два коннектора M.2 2230/2280 PCIe 5.0, два блока питания 80 Plus Titanium мощностью до 2000 Вт.

Дебютировали также серверы QuantaPlex S25Z-2U и QuantaPlex S45Z-2U типоразмера 2U с двумя и четырьмя узлами. Каждый узел рассчитан на один процессор Xeon 6700 с TDP до 350 Вт, 16 модулей DDR5-6400 RDIMM, а также два SSD M.2. Двухузловая версия поддерживает до трёх карт расширения PCIe 5.0 и два SFF-накопителя NVMe/SATA SSD на узел. У четырёхузловой модификации возможна установка одной карты PCIe 5.0, а также двух накопителей E1.S NVMe SSD или трёх устройств SFF NVMe SSD на узел.

Вышел 7U-сервер QuantaGrid D74H-7U для ресурсоёмких нагрузок НРС и ИИ. Он допускает установку двух процессоров Intel Xeon Emerald Rapids или Sapphire Rapids с показателем TDP до 350 Вт. Есть 32 слота для модулей памяти DDR5-5600 RDIMM суммарным объёмом до 8 Тбайт. Предусмотрены отсеки для 18 SFF-накопителей NVMe SSD. Возможна установка восьми ускорителей NVIDIA H100 (SXM5). Слоты расширения выполнены по схеме 2 × PCIe 5.0 x16 OCP 3.0 SFF и 10 × PCIe 5.0 x16 OCP 3.0 TSFF. Применены шесть блоков питания 80 Plus Titanium на 4000 Вт.

Наконец, представлен высокопроизводительный сервер QuantaGrid D75E-4U  формата 4U, который, как утверждается, обеспечивает максимальную гибкость при работе с LLM, ИИ и HPC. Он оснащён двумя процессорами Intel Xeon 6 с TDP до 350 Вт и поддерживает до восьми GPU-ускорителей PCIe следующего поколения с воздушным охлаждением и TDP до 600 Вт.

Компания Gigabyte анонсировала HGX-серверы G593-SD1-AAX3 и G593-ZD1-AAX3, предназначенные для задач ИИ и НРС. Устройства, выполненные в форм-факторе 5U, включают до восьми ускорителей NVIDIA H200. При этом используется воздушное охлаждение.

Источник изображений: Gigabyte

Модель G593-SD1-AAX3 рассчитана на два процессора Intel Xeon Emerald Rapids с показателем TDP до 350 Вт, а версия G593-ZD1-AAX3 располагает двумя сокетами для чипов AMD EPYC Genoa с TDP до 300 Вт. Доступны соответственно 32 и 24 слота для модулей оперативной памяти DDR5.

Серверы наделены восемью фронтальными отсеками для SFF-накопителей NVMe/SATA/SAS-4, двумя сетевыми портами 10GbE на основе разъёмов RJ-45 (выведены на лицевую панель) и выделенным портом управления 1GbE (находится сзади). Есть четыре слота FHHL PCIe 5.0 x16 и восемь разъёмов LP PCIe 5.0 x16. Модель на платформе AMD дополнительно располагает двумя коннекторами М.2 для SSD с интерфейсом PCIe 3.0 x4 и x1.

Питание у обоих серверов обеспечивают шесть блоков мощностью 3000 Вт с сертификатом 80 Plus Titanium. Габариты новинок составляют 447 × 219,7 × 945 мм. Диапазон рабочих температур — от +10 до +35 °C. Есть два порта USB 3.2 Gen1 и разъём D-Sub. Массовое производство серверов Gigabyte серии G593 запланировано на II половину 2024 года. Эти системы станут временной заменой (G)B200-серверов, выпуск которых задерживается.

Компания Supermicro расширила семейство высокопроизводительных вычислительных систем SuperCluster, предназначенных для обработки ресурсоёмких приложений ИИ/HPC. Представленные решения оптимизированы для платформы NVIDIA Omniverse, которая позволяет моделировать крупномасштабные виртуальные миры в промышленности и создавать цифровых двойников.

Системы SuperCluster for NVIDIA Omniverse могут строиться на базе серверов SYS-421GE-TNRT или SYS-421GE-TNRT3 с поддержкой соответственно восьми и четырёх ускорителей NVIDIA L40S. Обе модели соответствуют типоразмеру 4U и допускают установку двух процессоров Intel Xeon Emerald Rapids или Sapphire Rapids в исполнении Socket E (LGA-4677) с показателем TDP до 350 Вт (до 385 Вт при использовании СЖО).

Каждый из узлов в составе новых систем SuperCluster несёт на борту 1 Тбайт оперативной памяти DDR5-4800, два NVMe SSD вместимостью 3,8 Тбайт каждый и загрузочный SSD NVMe M.2 на 1,9 Тбайт. В оснащение включены четыре карты NVIDIA BlueField-3 (B3140H SuperNIC) или NVIDIA ConnectX-7 (400G NIC), а также одна карта NVIDIA BlueField-3 DPU Dual-Port 200G. Установлены четыре блока питания с сертификатом Titanium мощностью 2700 Вт каждый.

В максимальной конфигурации система SuperCluster for NVIDIA Omniverse объединяет пять стоек типоразмера 48U. В общей сложности задействованы 32 узла Supermicro SYS-421GE-TNRT или SYS-421GE-TNRT3, что в сумме даёт 256 или 128 ускорителей NVIDIA L40S.

Источник изображения: Supermicro

Кроме того, в состав такого комплекса входят три узла управления Supermicro SYS-121H-TNR Hyper System, три коммутатора NVIDIA Spectrum SN5600 Ethernet 400G с 64 портами, ещё два коммутатора NVIDIA Spectrum SN5600 Ethernet 400G с 64 портами для хранения/управления, два коммутатора управления NVIDIA Spectrum SN2201 Ethernet 1G с 48 портами.

При необходимости конфигурацию SuperCluster for NVIDIA Omniverse можно оптимизировать под задачи заказчика, изменяя масштаб вплоть до одной стойки. В этом случае применяются четыре узла Supermicro SYS-421GE-TNRT или SYS-421GE-TNRT3.