В III квартале 2024 фискального года, завершившегося в октябре 2023-го, компания NVIDIA заработала впечатляющие $14,5 млрд на решениях для дата-центров. Как сообщает Tom’s Hardware, значительная часть выручки приходится на передовые ускорители H100 для ИИ и HPC-систем.

Данные опубликовала компания Omdia, отслеживающая активность на рынке IT-решений. Согласно её анализу, крупнейшими покупателями ускорителей H100 стали гиперскейлеры вроде Meta✴ и Microsoft, значительно обогнавших по объёмам закупок Google, Amazon, Oracle и Tencent. Если Microsoft и Meta✴ приобрели по 150 тыс. ускорителей, то их «коллеги» по IT-рынку — по 50 тыс. При этом гиперскейлерам отдаётся очевидный приоритет при выполнении заказов.

В Omdia пришли к выводу, что до конца года будет поставлено почти 650 тыс. H100. В то же время срок выполнения новых заказов на серверы на базе ускорителей компании вырос с 36 до 52 недель. Так, Dell, HPE и Lenovo не могут полностью удовлетворить свои потребности в ускорителях для своих серверов в кратчайшие сроки. В итоге год к году поставки серверов в количественном выражении рухнут на 17–20 %, однако общая выручка поднимется на 6–8 %.

Источник изображения: Omdia

В 2027 году рынок серверов должен вырасти до $195,6 млрд, причём основное предпочтение будет отдаваться специализированным вариантам под конкретные задачи, оснащённым специальными сопроцессорами. Запрос на серверы с кастомными конфигурациями становится новой нормой по мере того, как заказчики осознали экономическую эффективность применения сопроцессоров и ускорителей. Пионерами в этой сфере стали компании, связанные с ИИ и медиаконтентом, но привлекательность таких решений, как ожидается, в ближайшем будущем будет оценена и в других секторах.

Компания Omdia обнародовала предварительную статистику по мировому серверному рынку в 2023 году. Аналитики отмечают, что отрасль претерпевает трансформацию, что объясняется стремительным развитием технологий ИИ, растущей потребностью в системах со специализированными ускорителями и пр.

Специалисты Omdia называют наблюдающуюся тенденцию гипергетерогенными вычислениями (hyper heterogeneous computing). Речь идёт об увеличении спроса на серверы, которые оборудованы аппаратными компонентами для ускорения выполнения определённых задач. Это могут быть сопроцессоры для инференса, например, изделия NeuReality или карты для ускорения обработки сервисов, скажем, Nebulon Medusa2.

Источник изображения: Microsoft

По оценкам Omdia, в 2023 году глобальные поставки серверов в штучном выражении рухнут на 17–20 % по сравнению с прошлым годом. Вместе с тем из-за роста стоимости систем в связи с добавлением дополнительных аппаратных компонентов общая выручка поднимется на 6–8 %.

Аналитики полагают, что в свете развития гипергетерогенных вычислений к 2027 году на CPU и специализированные сопроцессоры будет приходиться более 30 % расходов дата-центров на оборудование по сравнению с менее чем 20 % десятью годами ранее. Если рассматривать сегмент GPU-серверов, то Microsoft и Meta✴ Platforms являются ведущими заказчиками: ожидается, что эти компании к концу 2023-го получат более 150 тыс. изделий NVIDIA H100. Это в три раза больше по сравнению с объёмом закупок Google, Amazon и Oracle.

Источник: Omdia (via aibusiness.com)

В отчёте Omdia также отмечается, что спрос на GPU-системы со стороны гиперскейлеров настолько высок, что традиционные поставщики в лице Dell, Lenovo и HPE попросту не в состоянии выполнять заказы на поставки серверов с ускорителями H100 из-за дефицита этих изделий. Время ожидания для клиентов может достигать 36–52 недель.

Из-за необходимости использования более мощных серверов операторам ЦОД приходится тратить больше денег на инфраструктуру электропитания и охлаждения. Так, выручка от стоечных средств распределения питания подскочила на 17 % в I полугодии 2023-го, а расходы на системы охлаждения увеличились на 7 % в годовом исчислении. При этом объём сегмента прямого жидкостного охлаждения вырастет на 80 % в нынешнем году.

В III квартале 2023 года мировые поставки серверов выросли поквартально на 1,5 %, в полном соответствии с прогнозами экспертов. Как сообщает DigiTimes со ссылкой на доклад своего аналитического подразделения, основным драйвером роста был запуск вендорами новых платформ. При этом общие объёмы закупок крупными облачными сервис-провайдерами США даже слегка упали, при одновременном росте интереса к более дорогим ИИ-серверам.

В IV квартале мировые поставки серверов по мнению экспертов должны вырасти на 3,8 % квартал к кварталу. Речь идёт как о восстановлении поставок обычных серверов общего назначения для крупных облачных провайдеров из США, так и увеличении поставок ИИ-серверов.

Изображение: Panumas Nikhomkhai / Pixabay

Высокие процентные ставки в III квартале 2023 года крайне негативно повлияли на корпоративные закупки и заставили вендоров вроде Dell и HPE снизить расходы на решения на базе новых платформ AMD и Intel. При этом провайдеры облачных сервисов из Северной Америки зарегистрировали неудовлетворительные результаты в сегменте серверов для традиционных вычислений, что привело к спаду закупок квартал к кварталу. В то же время облачные операторы увеличили закупки высокопроизводительных ИИ-серверов.

Поставки для Meta✴ и Google упали квартал к кварталу более чем на 10 % для каждой из компаний, а поставки для ЦОД в Китае слегка увеличились, но только в сравнении с уже низкими объёмами, зарегистрированными кварталом ранее.

Давая предварительный прогноз для IV квартала, эксперты пришли к выводу, что спрос среди крупных облачных провайдеров в Северной Америке в последнем квартале года восстановится, поскольку он уже достиг минимума и наметилась обратная тенденция. Кроме того, продолжают увеличиваться поставки ИИ-серверов, а Amazon агрессивно внедряет собственную платформу на базе Arm-архитектуры.

Поставки вендоров должны вырасти с октября по декабрь на 4,5 % квартал к кварталу, основным фактором роста стало появление новых процессорных платформ. Например, в прошлом месяце Dell заявила, что серверы станут основным драйвером роста компании в эпоху ИИ. Восстановятся и закупки облачными провайдерами, например, гиперскейлеров уровня Meta✴ и Amazon.

Компания MSI на конференции по высокопроизводительным вычислениям SC23 представила новые серверы на процессорах AMD EPYC Genoa и Intel Xeon Sapphire Rapids. Устройства ориентированы на дата-центры и подходят для НРС-нагрузок, генеративного ИИ и других ресурсоёмких задач.

Одна из новинок — платформа G4201, которая допускает установку двух чипов Xeon Sapphire Rapids и 32 модулей оперативной памяти DDR5. Этот сервер формата 4U располагает восемью слотами PCIe 5.0 x16 для ускорителей высотой в два слота, а также двумя PCIe 5.0 x16 для карт толщиной в один слот.

Дебютировал также сервер G4101 типоразмера 4U. Он рассчитан на один чип EPYC Genoa (до 128 ядер; TDP до 500 Вт) и 12 модулей DDR5-4800. Возможно применение жидкостного охлаждения. Доступны четыре разъёма PCIe 5.0 х16 для трёхслотовых ускорителей и ещё два разъёма PCIe 5.0 x16. Во фронтальной части расположены отсеки для 12 накопителей U.2 NVMe или SAS/SATA (SFF). Кроме того, предусмотрены два коннектора M.2 M-Key (2280/22110, PCIe 3.0 x4/x2). Питание обеспечивают два блока мощностью 3000 Вт каждый.

Источник изображений: MSI

Ещё одна новинка — модель G3101, получившая исполнение 3U. Она допускает установку одного процессора EPYC 7002/7003 с 64 ядрами (до 300 Вт) и восьми модулей DDR4-3200. Поддерживается развёртывание СЖО. Есть шесть отсеков для SFF-накопителей с интерфейсом SATA-3 и четыре слота PCIe 4.0 x16 для карт FHFL. Предусмотрены два сетевых порта 10GbE на базе Intel X710AT2. В оснащение включены два блока питания на 1600 Вт.

Кроме того, MSI анонсировала два сервера с поддержкой Compute Express Link (CXL) — модели S1301 и S2302, оптимизированные для задач с интенсивным использованием данных. Характеристики версии S1301 формата 1U таковы: два процессора EPYC 9004 (Genoa) с 32 ядрами и TDP до 210 Вт, 24 слота для модулей DDR5-4800, два разъёма PCIe 5.0 x16 для ускорителей HHHL, 10 отсеков для накопителей E3.S CXL, два коннектора M.2 M-Key 2280 (PCIe 3.0 x2) и два блока питания мощностью 1600 Вт.

В свою очередь, сервер S2302 стандарта 2U поддерживает два чипа Xeon Sapphire Rapids (до 60 ядер; 350 Вт), 32 модуля DDR5-4800, три ускорителя PCIe 5.0 x16  FHFL и две карты PCIe 5.0 x16 HHHL. Накопители могут устанавливаться по схеме 8 × E3.S CXL и 2 × E3.S PCIe 5.0 SSD или 10 × E3.S PCIe 5.0 SSD. Применены два блока питания на 1600 Вт.

Компания Liqid в партнёрстве с Dell Technologies анонсировала эталонную архитектуру UltraStack L40S для формирования систем с высокой плотностью компоновки GPU и иных ускорителей — до 16 шт. на один сервер. Такие платформы могут использоваться для ИИ-приложений, работы с большими языковыми моделями (LLM), задач НРС и пр.

Новинка доступна в конфигурациях UltraStack x8 и UltraStack x16. В качестве хост-сервера в составе решения выступает Dell PowerEdge R760xa на базе Intel Xeon Sapphire Rapids: применены два процессора Xeon Gold 6430 (32 ядра; 64 потока; 1,9 ГГц). Объём оперативной памяти в первом случае составляет 1 Тбайт, во втором — 2 Тбайт.

К серверу подключаются модули Liqid PCIe Chassis. Версия UltraStack x8 использует два таких модуля: задействованы восемь ускорителей NVIDIA L40S с 48 Гбайт памяти GDDR6 и SSD-хранилище вместимостью 30 Тбайт (NVMe). Вариант UltraStack x16 комплектуется тремя модулями Liqid PCIe Chassis: объединены 16 карт NVIDIA L40S, а ёмкость хранилища составляет 60 Тбайт.

Источник изображения: Liqid

Платформа UltraStack L40S предполагает применение восьми двухпортовых сетевых адаптеров NVIDIA ConnectX-7 (16 × 200 Гбит/с), DPU BlueField-3, двух хост-адаптеров Liqid Gen 4.0 x16 HBA, а также коммутатора PCIe 4.0 на 24/48 портов. Среднее энергопотребление UltraStack x8 заявлено на уровне 4,5 кВт, UltraStack x16 — 7,5 кВт.

Система базируется на ПО Liqid Matrix. Компания Liqid утверждает, что по сравнению с четырьмя серверами формата 2U, каждый из которых содержит четыре ускорителя NVIDIA L40S, её система UltraStack с 16 такими картами обеспечивает на 35 % более высокую производительность, сокращение энергопотребления на 35 % и снижение общей стоимости владения на 25 %.

Компания NeuReality на конференции по высокопроизводительным вычислениям SC23 представила полностью интегрированное решение NR1 AI Inference, предназначенное для ИИ-платформ. Изделие спроектировано специально для ускорения инференса и снижения нагрузки на аппаратные ресурсы.

Утверждается, что благодаря использованию технологий NeuReality операторы крупных дата-центров могут на 90 % сократить затраты на выполнение операций ИИ. При этом производительность по сравнению с традиционными системами на основе CPU больше на порядок. Впрочем, конкретные цифры не приводятся.

Источник изображений: NeuReality

В продуктовое семейство NeuReality входит решение NR1, которое разработчик называет «сервером на чипе» со встроенным нейросетевым движком. По заявлениям NeuReality, это первый в мире «сетевой адресуемый процессор» — NAPU (Network Addressable Processing Unit). Этот специализированный чип, ориентированный на задачи инференса, обладает возможностями виртуализации и сетевыми функциями.

Изделие NR1 является основой вычислительного модуля NR1-M AI Inference Module, выполненного в виде полноразмерной двухслотовой карты расширения PCIe. Модуль может подключаться к внешнему ускорителю глубокого обучения (DLA). Наконец, анонсирован сервер NR1-S AI Inference Appliance, который оснащается картами NR1-M AI Inference Module. NeuReality отмечает, что данная система позволяет снизить стоимость и энергопотребление почти в 50 раз на операциях инференса по сравнению со стандартными платформами.

Компания One Stop Systems (OSS) на конференции по высокопроизводительным вычислениям SC23 представила сервер Gen 5 AI Transportable, предназначенный для решения задач ИИ и машинного обучения на периферии. Устройство, рассчитанное на монтаж в стойку, выполнено в корпусе уменьшенной глубины.

Новинка соответствует американским военным стандартам в плане устойчивости к ударам, вибрации, диапазону рабочих температур и пр. Сервер может применяться в составе мобильных дата-центров, на борту грузовиков, самолётов и подводных лодок.

Возможна установка четырёх ускорителей NVIDIA H100 и до 16 NVMe SSD суммарной вместимостью до 1 Пбайт. Говорится о поддержке до 35 одновременных ИИ-нагрузок. Кроме того, могут применяться сетевые решения стандарта 400 Гбит/с. При необходимости можно подключить NAS-хранилище в усиленном исполнении.

Источник изображения: OSS

Для сервера доступны различные варианты охлаждения: воздушное, автономное жидкостное или внешний теплообменник с жидкостным контуром. Поддерживаются различные варианты организации питания с переменным и постоянным током для использования на суше, в воздухе и море.

При использовании СЖО ускорители H100, по всей видимости, комплектуются водоблоком EK-Pro NVIDIA H100 GPU WB. Реализована фирменная архитектура Open Split-Flow: она обеспечивает высокую эффективность охлаждения даже при небольшой скорости потока жидкости, что позволяет применять не слишком мощные помпы или помпы, работающие с невысокой скоростью. Микроканалы, фрезерованные на станке с ЧПУ, обладают минимальным гидравлическим сопротивлением потоку. Водоблок имеет однослотовое исполнение.

Источник изображения: EKWB

Предусмотрено проприетарное ПО U-BMC (Unified Baseboard Management Controller) для динамического управления скоростью вентиляторов, мониторинга системы и пр. Сервер подходит для монтажа в большинство 19″ стоек.

«Яндекс» и группа компаний «Ланит» объявили о выходе из совместного с Gigabyte предприятия по производству серверов под торговой маркой OpenYard: свои доли они продадут частным инвесторам. Информации об ориентировочной сумме сделки на данный момент нет.

Напомним, «Яндекс», «Ланит», ВТБ и тайваньская Gigabyte летом 2021 года сообщили о намерении построить в Рязани завод по выпуску серверов и другого оборудования корпоративного класса. На нём планировалось производить технику под маркой OpenYard. Первоначальные инвестиции составили 1 млрд руб.

Весной нынешнего года появилась информация, что строительство предприятия завершено — оно располагается на территории индустриального парка «Рязанский». При этом пусконаладочные работы на тот момент сделаны не были. Летом же стало известно, что планы в отношении завода поменялись в связи со сложившейся геополитической обстановкой. Тогда говорилось, что «Яндекс» и «Ланит» решили выйти из проекта.

Теперь компании подтвердили эти сведения, заявив о продаже своих долей. После осуществления сделки «Яндекс» сосредоточится на развитии своих ключевых технологий и бизнесов. «Ланит» продолжит заниматься интеграторским бизнесом, разработкой и внедрением ПО, дистрибуцией и развитием собственных продуктов.

Источник изображения: OpenYard

До объявления об этой сделке «Яндексу» и ООО «Ланит Венчурс» принадлежали по 50 % структуры ООО «Центр открытых разработок». По данным ЕГРЮЛ, с 25 октября 2023 года доля «Ланит Венчурс» перешла компании «Цифровые Технологии» Дмитрия Казанского. Предприятие под Рязанью сохранит за собой производство, права на технологические разработки, команду сотрудников и бренд OpenYard.

Компания Supermicro сообщила о начале поставок первых в отрасли серверов на базе суперчипа NVIDIA GH200 Grace Hopper, предназначенных для поддержания ресурсоёмких нагрузок ИИ. Дебютировали стоечные решения в форм-факторах 1U и 2U с воздушным и жидкостным охлаждением.

Серверы используют модульную платформу NVIDIA MGX, которая специально разработана для упрощения создания ИИ-систем. Разработчики на этапе проектирования выбирают базовую архитектуру для шасси, после чего добавляются CPU, GPU и DPU в той или иной конфигурации для решения определённых задач.

В общей сложности выпущены шесть систем (см. характеристики в таблицах ниже). Все они допускают установку накопителей стандарта E1.S с возможностью горячей замены и SSD формата M.2. Есть слоты PCIe 5.0 x16 с поддержкой NVIDIA BlueField-3 и ConnectX-7. Питание обеспечивают два или три блока мощностью 2000 или 2700 Вт.

Источник изображений: Supermicro

В список анонсированных серверов входят:

• ARS-111GL-NHR — 1U, 1 × GH200 Grace Hopper, воздушное охлаждение;
• ARS-111GL-NHR-LCC — 1U, 1 × GH200 Grace Hopper, жидкостное охлаждение;
• ARS-111GL-DHNR-LCC — 1U, 2 × GH200 Grace Hopper, 2 узла, жидкостное охлаждение;
• ARS-121L-DNR — 1U, 2 × Grace CPU в каждом из двух узлов, воздушное охлаждение;
• ARS-221GL-NR — 2U, 1 × Grace CPU, воздушное охлаждение;
• SYS-221GE-NR — 2U, 2 × Intel Xeon Sapphire Rapids, до 4 × NVIDIA H100, воздушное охлаждение.

Supermicro отмечает, что заказчики могут использовать новые серверы в комплексе с софтом NVIDIA, включая NVIDIA AI Enterprise, для решения разнообразных задач в области генеративного ИИ, компьютерного зрения, речевых приложений и машинного обучения. А набор NVIDIA HPC SDK содержит компиляторы, библиотеки и программные инструменты, необходимые для организации высокопроизводительных вычислений.

Компания Giga Computing, подразделение корпоративных продуктов Gigabyte Technology, анонсировала серверы семейства R-Series, оснащённые процессорами AmpereOne с архитектурой Arm (до 192 ядер Arm с частотой до 3,0 ГГц, 8 каналов DDR5, 128 линий PCIe 5.0, TDP до 400 Вт).

Дебютировали четыре сервера: R163-P32 и R183-P92 в форм-факторе 1U, а также R263-P33 и R283-P93 типоразмера 2U. Все они поддерживают работу с ОС RHEL 9.0, Fedora 36, Oracle 9.0, Ubuntu 22.04 и Debian 11.

Источник изображений: Giga Computing

Модель R163-P32 рассчитана на установку одного чипа AmpereOne в исполнении LGA 5964. Есть 16 слотов для модулей оперативной памяти DDR5-4800 ёмкостью до 512 Гбайт каждый, 12 отсеков для SFF-накопителей NVMe/SATA/SAS, коннектор M.2 (PCIe 5.0 x4), два разъёма PCIe 5.0 x16 для карт FHHL, слот OCP 3.0 (PCIe 5.0 x16), сетевой контроллер 1GbE (Intel I210-AT) и выделенный сетевой порт управления 1GbE. Питание обеспечивают два блока мощностью 1300 Вт с сертификатом 80 Plus Platinum.

Версия R183-P92, в свою очередь, поддерживает два процессора AmpereOne. Этот сервер располагает 32 слотами для модулей DDR5-4800, двумя слотами OCP 3.0 (PCIe 5.0 x16) и двумя сетевыми портами 1GbE на базе Intel I350-AM2. Применены два блока питания на 2000 Вт с сертификатом 80 Plus Platinum. Прочие характеристики унаследованы у предыдущей версии.

Решение R263-P33 под один чип AmpereOne снабжено 16 слотами для модулей оперативной памяти DDR5-4800, четырьмя отсеками для SFF/LFF-накопителей NVMe/SATA/SAS, восемью отсеками для SFF/LFF-устройств SATA/SAS, коннектором M.2 (PCIe 5.0 x4), тремя разъёмами PCIe 5.0 x16 для карт FHHL, одним слотом PCIe 5.0 x8, двумя слотами OCP 3.0 (PCIe 5.0 x16), сетевым контроллером 1GbE (Intel I210-AT) и выделенным сетевым портом управления 1GbE. Установлены два блока мощностью 2400 Вт с сертификатом 80 Plus Platinum.

Сервер R283-P93 позволяет задействовать два процессора AmpereOne и 32 модуля DDR5-4800. Есть четыре слота PCIe 5.0 x16 для карт FHHL и два слота PCIe 5.0 x16 для карт LP, а также два порта 1GbE на базе Intel I350-AM2. Мощность каждого из двух блоков питания с сертификатом 80 Plus Platinum — 2700 Вт. Другие характеристики аналогичны модели R263-P33.