Компания ASUS привезла на выставку Computex 2023 сервер ESC8000A-E12P в форм-факторе 4U. Эта GPU-платформа рассчитана на решение задач в области ИИ и HPC: возможна установка восьми полноразмерных двухслотовых ускорителей с интерфейсом PCIe 5.0 x16.

Сервер рассчитан на два процессора AMD EPYC 9004 (Genoa) с показателем TDP до 400 Вт. Доступны 24 слота для модулей оперативной памяти DDR5-4800/4400 суммарным объёмом до 6 Тбайт. Возможны два варианта исполнения сервера: с четырьмя тыльными слотами PCIe 5.0 x16 или с тремя слотами PCIe 5.0 x16 и разъёмом OCP3.0 NIC. Во фронтальной части в обоих случаях находится один слот PCIe 5.0 x16.

Во фронтальной части находятся восемь отсеков для LFF-накопителей с возможностью горячей замены. Кроме того, может быть установлен SSD формата M.2 22110 с интерфейсом PCIe 3.0 x4. В зависимости от модификации присутствуют два порта 10GbE или 1GbE, а также выделенный сетевой порт управления. В числе опций — контроллер Broadcom MegaRAID 9560-16i, Broadcom MegaRAID 9540-8i, ASUS PIKE II 3008 8-port HBA и ASUS PIKE II 3108 8-port HW RAID.

Есть два порта USB 3.2 Gen1, последовательный порт и коннектор D-Sub. Допускается развёртывание системы воздушного и жидкостного охлаждения. Габариты составляют 800 × 440 × 174,5 мм. Устанавливаются три или четыре блока питания мощностью до 3000 Вт с сертификатом 80 PLUS Titanium. Сервер может использоваться в температурном диапазоне от +10 до +35 °C.

Компания ASUS в ходе выставки Computex 2023 представила сервер RS500A-E12-RS12U, предназначенный для поддержания повседневных бизнес-нагрузок. Устройство, выполненное в форм-факторе 1U, использует аппаратную платформу AMD с возможностью установки одного процессора EPYC 9004 (Genoa).

Поддерживается работа с чипами в исполнении Socket SP5 (LGA 6096) с показателем TDP до 400 Вт. Доступны 24 слота для модулей памяти DDR5-4800/4400/4000/3600 суммарным объёмом до 6 Тбайт. Предусмотрены три слота PCIe 5.0 x16 и разъём OCP 3.0.

Во фронтальной части расположены 12 отсеков для SFF-накопителей SATA/SAS/NVMe. Опционально могут быть добавлены четыре внутренних устройства SFF SATA/NVMe. Кроме того, есть два коннектора для твердотельных модулей M.2. Сервер располагает двухпортовым сетевым контроллером 1GbE на базе Intel I350-AM2 и выделенным сетевым портом управления. Сзади расположены два разъёма USB 3.2 Gen1, интерфейс D-Sub и гнёзда RJ-45 для сетевых кабелей.

Габариты составляют 842,5 × 449 × 43,85 мм. Задействованы два блока питания мощностью 1600 Вт с сертификатом 80 PLUS Titanium или 80 PLUS Platinum. Система может эксплуатироваться при температурах от +10 до +35 °C.

Компания AIC сообщила о том, что её сервер EB202-CP для периферийных вычислений и приложений ИИ может комплектоваться новейшими процессорами AMD серии EPYC Embedded 9004 (Genoa). Эти чипы насчитывают до  96 вычислительных ядер, а объём кеша L3 достигает 384 Мбайт.

Стоечный сервер EB202-CP имеет формат 2U с глубиной 22″. Возможно применение чипа Genoa с показателем TDP до 320 Вт. Имеются восемь слотов для модулей оперативной памяти DDR5-4800. Во фронтальной части предусмотрены восемь отсеков для накопителей E1.S/E3.S или U.2 с поддержкой горячей замены. Кроме того, могут быть задействованы два внутренних твердотельных модуля M.2 22110 с интерфейсом PCIe 5.0 x4. За возможности расширения отвечают два слота PCIe 5.0 x16, четыре разъёма MCIO (x16) и слот OCP 3.0 (PCIe 5.0 x16).

Источник изображения: AIC

В оснащение входят два порта SATA 3.0 с поддержкой RAID 0/1, BMC AST2600 (eSPI) и 1GbE-адаптер Broadcom BCM5720. На лицевую панель выведены два порта USB 2.0. Сзади находятся два разъёма USB 3.0 Type-A, гнездо RJ-45, разъём Mini DisplayPort и последовательный порт, на базе которого реализован аудиоинтерфейс. Габариты сервера составляют 438 × 558,8 × 87,2 мм. Диапазон рабочих температур простирается от 0 до +35 ºC. Поддерживается установка двух блоков питания на 1200 Вт. Система воздушного охлаждения содержит четыре вентилятора с размерами 60 × 56 мм и два дополнительных вентилятора формата 40 × 28 мм в области накопителей.

Встраиваемые решения AMD привлекают не так много внимания как настольные или серверные, но в арсенале компании представлены широко — от экономичных Ryzen Embedded для индустриальных и встраиваемых ПК до мощных EPYC Embedded. Именно о последних сегодня пойдет речь, поскольку на выставке Embedded World 2023 компания представила новую серию процессоров EPYC Embedded 9004 (Genoa).

Свою родословную новые EPYC Embedded ведут от обычных серверных чипов EPYC Genoa. AMD позиционирует новинки в качестве решений для автоматизации в промышленности, телекоммуникациях, (I)IoT и периферийных вычислениях — везде, где требуется сочетание высокой удельной производительности с энергоэффективностью.

Источник изображений здесь и далее: AMD

Новая платформа представлена в одно- и двухсокетных вариантах. Максимальное количество процессорных ядер Zen 4 составляет 96 (SMT2), а объём кеша L3 может достигать внушительных 384 Мбайт. 12-канальный контроллер памяти с поддержкой DDR5-4800 ECC (3DS) RDIMM и NV-DIMM (важно для устойчивости к потере питания и быстрого восстановления работоспособности) тоже никуда не делся.

Всего в новой серии AMD представила 10 моделей EPYC Embedded 9004, с числом ядер от 16 до 96, различными частотными формулами, объёмами кеша L3 и теплопакетами в диапазоне от 200 до 360 Вт (cTDP до 400 Вт). Варианты для однопроцессорных систем располагают 128 линиями PCIe 5.0, а 2S-системы предлагают до 160 линий. Поддерживается CXL 1.1, включая устройства CXL.mem. Сокет CPU всё тот же — 6096-контактный SP5.

Кое-чем новые EPYC Embedded отличаются от своих обычных собратьев. В частности, отдельно отмечается поддержка Non-Transparent Bridge (NTB), что важно для формирования двухконтроллерных платформ, а также наличие технологии Scalable Control Fabric, которая позволяет более тонко конфигурировать межсоединения между чиплетами. Кроме того, например, сообщается о наличии второго канала SPI, что позволяет обеспечить дополнительную защиту и верификацию образов BIOS/UEFI.

В числе главных партнёров AMD по внедрению новой платформы EPYC Embedded числятся компании Advantech и Siemens, уже анонсировавшие решения на базе новых процессоров. В качестве примера можно привести новый сервер Siemens SIMATIC IPC RS-828A или системную плату Advantech ASMB-831. Процессоры AMD EPYC Embedded 9004 уже доступны в небольших пробных партиях, но и начало массовых поставок не за горами, оно намечено уже на апрель текущего года.

В настоящее время «пробный комплект разработчика», в который входит референс-плата с процессором, полный комплект документации и программный инструментарий, доступен избранным партнёрам AMD. Также стоит отметить, что у новой платформы расширенный жизненный цикл, составляющий 7 лет, и без поддержки в ближайшее десятилетие оборудование на базе EPYC Embedded 9004 не останется.

Словенская компания EK Water Blocks, известный разработчик систем жидкостного охлаждения, анонсировала водоблоки серии EK-Pro CPU WB SP5, предназначенные для серверных процессоров AMD EPYC Genoa. Решения уже доступны для заказа на европейском рынке по цене около €155.

Одна из новинок, модель EK-Pro CPU WB SP5 Ni + Acetal, ориентирована на рабочие станции. Используются три стандартных фитинга G1/4", которые расположены в верхней части. Основание изготовлено из чистейшей меди с никелевым покрытием. Верхняя часть выполнена из полиформальдегида (ацеталь).

Источник изображений: EK Water Blocks

Второй водоблок, EK-Pro CPU WB SP5 Rack Ni + Acetal, предназначен для серверов формата 1U. Четыре фитинга стандарта G1/8" расположены в боковых частях. Решение спроектировано таким образом, чтобы полностью покрывать теплораспределяющую пластину процессора в исполнении SP5. Микроребристая структура обеспечивает высокую эффективность отвода тепла. Как и в случае с первой новинкой, основание выполнено из меди с никелевым покрытием, а верхняя часть — из полиформальдегида.

Оба водоблока наделены специальным механизмом, исключающим вероятность некорректного монтажа. Благодаря шести подпружиненным винтам обеспечивается оптимальное прижимное усилие. Данный тип крепления позволяет осуществлять установку водоблока без необходимости извлечения материнской платы из корпуса.

Компания ASRock Rack анонсировала материнскую плату GENOAD8UD-2T/X550, предназначенную для создания серверов на платформе AMD EPYC Genoa. Новинка на сегодняшний день является одним из самых компактных изделий в своём классе: габариты составляют 264 × 267 мм. Возможна установка одного процессора в исполнении Socket SP5 (LGA 6096). Для модулей оперативной памяти DDR5-4800 есть восемь слотов; максимально поддерживаемый объём ОЗУ — 4 Тбайт.

Плата получила по два разъёма MCIO (PCIe 5.0 x8 и PCIe 5.0 x8 или 8 × SATA-3), а также один разъём MCIO PCIe 5.0 x4. Есть четыре слота PCIe 5.0 / CXL1.1 x16, два разъёма M.2 (PCIe  4.0 x4) для твердотельных модулей формата 2280/2260/2242/2230 и коннектор с поддержкой последовательного интерфейса.

Нажмите для увеличения / Источник изображений: ASRock Rack

В оснащение входят BMC-контроллер ASPEED AST2600, два 10GbE-порта (Intel X550-AT2) и выделенный сетевой порт управления (Realtek RTL8211F). Интерфейсный блок содержит три гнезда RJ-45, два порта USB 3.2 Gen1 Type-A и аналоговый разъём D-Sub. Диапазон рабочих температур — от +10 до +35 °C.

Всего за десять лет AMD совершила почти невозможное — практически полностью потеряла серверный рынок, а теперь не просто успешно его отвоёвывает, но и предлагает комплексное портфолио решений. Анонс четвёртого поколения процессоров EPYC под кодовым именем Genoa — это не технологическая победа над Intel, поскольку AMD даже не думала бороться с Sapphire Rapids и уж тем более с Ice Lake-SP, а ориентировалась на Granite Rapids. Но годовая задержка с выпуском Sapphire Rapids позволила AMD не только в более спокойном темпе доделывать чипы Genoa, которые вышли на полгода позже, чем задумывалось ранее, но и поработать с разработчиками и заказчиками. Компании удалось вернуть их доверие — победа в умах гораздо важнее, чем просто технологическое превосходство. А оно неоспоримо.

Источник: AMD

EPYC Genoa заключены в корпус 72×75 мм, содержат до 90 млрд транзисторов и состоят из 13 чиплетов: 12 CCD, изготовленных по 5-нм техпроцессу TSMC плюс один, изрядно увеличившийся в размерах, IO-блок, сделанный там же, но уже по 6-нм нормам. Отказ от услуг GlobalFoundries, которая так и не смогла освоить тонкие техпроцессы, случился как нельзя кстати, поскольку IO-блок становится крайне важным компонентом при таком количестве ядер, которые необходимо вовремя накормить данными. И Genoa интересны в первую очередь с точки зрения полноты и разнообразия IO, а не рекордного количества ядер.

IO-чиплет оснащён новыми SerDes-блоками, которые обслуживают и PCIe 5.0, и Infinity Fabric 3.0 (IF/GMI3). Формально каждому чипу полагается 128 линий PCIe 5.0, но реальная конфигурация чуть сложнее. Во-первых, у каждого чипа есть ещё восемь (2 x4) бонусных линий PCIe 3.0 для подключения нетребовательных устройств и обвязки, но в 2S-конфигурации таких линий будет только 12. Во-вторых, для 2S можно задействовать три (3Link) или четыре (4Link) IF-подключения, получив 160 или 128 свободных линий PCIe 5.0 соответственно.

Изображения: AMD (via SemiAnalysis)

В-третьих, каждый root-комплекс x16 может быть поделён между девятью устройствами (вплоть до x8 + восемь x1). Часть линий можно отдать на SATA (до 32 шт.), хотя это довольно расточительно. Но главное не это! Из 128 линий 64 поддерживают в полном объёме CXL 1.1 и частично CXL 2.0 Type 3, причём возможна бифуркация вплоть до x4. Ради такой поддержки CXL выход Genoa задержался на два квартала, но оно того определённо стоило — к процессору можно подключать RAM-экспандеры. И решения SK Hynix уже валидированы для новой платформы.

CXL-память будет выглядеть как NUMA-узел (без CPU) — задержки обещаны примерно те же, что и при обращении к памяти в соседнем сокете, а пропускная способность одного CXL-подключения x16 почти эквивалентна двум каналам DDR5. При этом для CXL-памяти прозрачно поддерживаются всё те же функции безопасности, включая SME/SEV/SNP (теперь ключей стало аж 1006, а алгоритм обновлён до 256-бит AES-XTS). Отдельно для CXL-памяти внедрена поддержка SMKE (secure multi-key encryption), с помощью которой гипервизор может оставлять зашифрованными выбранные области SCM-устройств (до 64 ключей) между перезагрузками.

Изображения: AMD (via SemiAnalysis)

Такая гибкость при работе с памятью крайне важна для тех же гиперскейлеров. DDR5 по сравнению с DDR4 вчетверо плотнее, вполовину быстрее и… пока значительно дороже. И здесь AMD снова пошла им навстречу, добавив поддержку 72-бит памяти, а не только стандартной 80-бит, сохранив и расширив механизмы коррекции ошибок. 10-% разница в количестве DRAM-чипов при сохранении той же ёмкости на масштабах в десятки и сотни тысяч серверов выливается в круглую сумму. Кроме того, в Genoa сглажена разница в производительности между одно- и двухранговыми модулями с 25 % (в случае Milan) до 4,5 %.

Что примечательно, AMD удалось сохранить сопоставимый уровень задержки обращений к памяти между поколениями CPU: 118 нс против 108 нс, из которых только 3 нс приходится на IO-блок, а 10 нс уже на саму память. Теоретическая пиковая пропускная способность памяти составляет 460,8 Гбайт/с на сокет. Однако тут есть нюансы. Genoa имеет 12 каналов памяти DDR5-4800, которые способны вместить до 6 Тбайт RAM. Однако сейчас фактически доступен только режим 1DPC, а вот 2DPC, судя по всему, появится только в следующем году. Genoa поддерживает модули (3DS) RDIMM и предлагает чередование с шагом в 2, 4, 6, 8, 10 или 12 каналов.

Изображения: AMD (via SemiAnalysis)

Каждый чип можно разбить на два (NPS2) или четыре (NPS4) равных NUMA-домена, а при большом желании и «прибить» L3-кеш к ядрам в том же CCD, получив уже 12 доменов. Но, по словам AMD, это нужно лишь в редких случаях, чтобы выжать ещё несколько процентов производительности. И это снова возвращает нас к особенностям IO-блока. Дело в том, что у каждого CCD есть сразу два GMI-порта. Но в конфигурациях с 8 и 12 CCD используется только один из них, а вот в случае 4 CCD — оба. Интересно, задействует ли AMD «лишние» порты для подключения других блоков.

Впрочем, AMD, имея столь гибкие возможности конфигурации моделей, ограничилась относительно скромным начальным набором CPU, которые включает всего 18 моделей с числом ядер от 16 до 96, из которых четыре имеют индекс P (односокетные, чуть дешевле) и четыре — F (выше частота, больше объём L3-кеша). Модельный ряд условно делится на три группы: повышенная производительность на ядро (F-серия), повышенная плотность ядер и повышенный показатель TCO (с относительно малым количеством ядер).

Источник: AMD (via ServeTheHome)

На первый взгляд может показаться, что и цены на новинки заметно выросли, но это не совсем так. Например, у топовых моделей условная стоимость одного ядра (а их стала в полтора раза больше) так и крутится около «магического» значения в $123. Но с учётом возросшей производительности на ценовую политику AMD просто грех жаловаться. Прирост IPC между Zen3 и Zen4 составил 14 %, в том числе благодаря увеличению L2-кеша до 1 Мбайт на ядро (L1 и L3 остались без изменений), но не только. Есть и другие улучшения. Например, обновлённый контроллер прерываний AVIC позволяет практически полностью насытить не только 200G, но 400G NIC.

С учётом чуть возросших частот и просто катастрофической разнице в количестве ядер топовый вариант Genoa не только значительно обгоняет Milan, но и в два-три раза быстрее старшего Ice Lake-SP. Дело ещё в и том, что Genoa обзавелись поддержкой AVX-512, в том числе инструкций VNNI (DL Boost), которыми так долго хвасталась Intel, а также BF16. Но реализация сделана иначе. У Intel используются «полноценные» 512-бит блоки, дорогие с точки зрения энергопотребления и затрат кремния. AMD же пошла по старому пути, используя 256-бит операции и несколько циклов, что позволяет не так агрессивно сбрасывать частоты.

Изображения: AMD (via SemiAnalysis)

Переход на новый техпроцесс, а также обновлённые подсистемы мониторинга и управления питанием позволили сохранить TDP в разумных пределах от 200 Вт до 360 Вт (cTDP до 400 Вт), что всё ещё позволяет обойтись воздушным охлаждением — всего + 80 Вт для старших процессоров при полуторакратном росте числа ядер. Таким образом, AMD имеет полное право заявлять, что Genoa лидирует по производительности, плотности размещения вычислительных мощностей, энергоэффективности и, в целом, по уровню TCO.

У Intel же пока преимущество в более высокой доступности продукции в сложившейся геополитической обстановке. Отдельный вопрос, как AMD будет распределять имеющиеся мощности по выпуску Genoa между гиперскейлерами, корпоративным сектором и HPC-сегментом. Впрочем, компания в любом случае меняет рынок, иногда неожиданным образом. В частности, VMware, которая когда-то из-за EPYC изменила политику лицензирования, была вынуждена дополнительно оптимизировать свои продукты для Genoa. В конце концов, где вы раньше видели 2S-платформу со 192 ядрами и 384 потоками?

На прошедшем этим вечером отчётном мероприятии Financial Analysts Day 2022 компания AMD поделилась планами по дальнейшему развитию серверных процессоров EPYC. Речь шла как об уже анонсированных продуктах, так и о совершенно новых, предназначенных для неосвоенных ранее компанией сегментов.

Наиболее значимым, хотя и наименее детальным, стал официальный анонс пятого поколения AMD EPYC под кодовым именем Turin (EPYC 7005), которое должно появиться до конца 2024 года. Они будут основаны на существенно переработанной архитектуре Zen 5 и изготавливаться по смешанному 3- и 4-нм техпроцессу. Обещано три разновидности кристаллов: обычные, с 3D V-Cache и «облачные» (Zen 5c), оптимизированные для повышения плотности размещения. Важно тут то, что таким образом сохранится преемственность между поколениями, что определённо порадует заказчиков.

Изображения: AMD (via Tom's Hardware)

Но в ближайшее время нас ждёт выход AMD EPYC Genoa, который должен состояться в IV квартале текущего года. Эти 5-нм процессоры получат до 96 ядер Zen 4, 12 каналов DDR5, поддержку PCIe 5.0 и CXL. Причём сейчас уже явно говорится о возможности расширения системной памяти с помощью CXL. Переход на новый техпроцесс и увеличившееся в 1,5 раза количество ядер дали прирост производительности до +75% (в пример приводится тест Java SPECjbb).

Для Genoa потребуется новый сокет SP5 (LGA6096). Он же будет готов принять ещё два варианта процессоров. Первый — это новенький Genoa-X, по названию которого легко догадаться, что это тот же Genoa (тоже до 96 ядер), снабжённый расширенным L3-кешем 3D V-Cache (от 1 Гбайт и более). Как и Milan-X, он будет ориентирован на специфический класс нагрузок, которые выигрывают от увеличения доступного объёма кеша. Это, например, расчётные задачи и СУБД.

Genoa-X появятся в 2023 году. Тогда же стоит ждать и особую серию Bergamo. Эти процессоры, как и было обещано ранее, получат до 128 ядер (и 256 потоков), сохранив совместимость с сокетом SP5. Основаны они будут на 5-нм ядрах Zen 4c, который чем-то напоминают E-ядра в исполнении Intel. Однако набор команд у Zen 4c будет одинаков с Zen 4. Деталей устройства c-ядер AMD снова не раскрыла, но можно предположить, что у них переработана иерархия кешей. Предназначены они для гиперскейлеров, которым важна плотность размещения ресурсов, а не только производительность

В 2023 году появятся и «малые» EPYC’и под кодовым названием Siena. Они оптимизированы с точки зрения энергоэффективности и предлагают до 64 ядер Zen 4. Siena ориентированы на периферийные вычисления и телеком-сегмент. Подробностей о них пока тоже мало. Не исключено, что мы увидим и гибриды наподобие Ice Lake-D, включающие интегрированные «умные» сетевые контроллеры.

Существенным для всех новинок станет использование архитектуры Zen 4 (4 и 5 нм), которая, помимо ожидаемого прироста производительности, получит новые возможности. Среди них — поддержка AVX-512 (возможно, не самого полного набора) и новых инструкций для ИИ-нагрузок, которыми Intel хвасталась в течение нескольких лет. Но что ещё более важно, Zen 4 получат четвёртое поколение интерконнекта Infinity Architecture, который позволит более плотно связать различные чиплеты, причём и на уровне «кремния» (2.5D- и 3D-упаковка).

А это открывает путь к эффективной компоновке различных функциональных модулей с поддержкой когерентности на уровне всего чипа — AMD подтвердила возможность интеграции FPGA Xilinx и IP-блоков сторонних компаний. Новый интерконнект также совместим с CXL 2.0, что важно для работы с памятью, а будущие версии получат поддержку CXL 3.0 и UCIE. Именно четвёртое поколение Infinity позволило AMD создать свои первые серверные APU Instinct MI300.