Компания Iceotope анонсировала сервер KUL AI, предназначенный для поддержания самых требовательных рабочих нагрузок ИИ. Новинка базируется на аппаратной платформе Gigabyte G293, интегрированной с высокоэффективной гибридной СЖО Iceotope Precision Liquid Cooling, сочетающей прямое жидкостное охлаждение с погружным охлаждением в одном шасси.

Известно, что в сервере применяются процессоры Intel Xeon. Установлены восемь ускорителей. Устройство имеет аккредитацию NVIDIA Certified-Solutions. Оно оптимизировано по конструкции для жидкостного охлаждения на основе диэлектрических теплоносителей. Утверждается, что благодаря системе Iceotope Precision Liquid Cooling сервер KUL AI обеспечивает бесперебойную и надёжную работу при поддержании оптимальной температуры. При этом достигается защита критически важных компонентов и сводится к минимуму частота отказов даже во время интенсивных и продолжительных ИИ-нагрузок.

Устройство имеет размеры 121 × 53 × 13,5 см и весит 99 кг. В набор интерфейсов в зависимости от варианта исполнения входят до четырёх сетевых портов 10Gb RJ-45 и QSFP28 или SFP28, порты USB 3.2 Type-A, аналоговый разъём D-Sub и коннектор 1Gb RJ-45. Говорится о практически бесшумной работе и герметичном исполнении. По заявлениям разработчика, новинка идеально подходит для чувствительных к задержкам периферийных вычислений, включая среды с экстремальными условиями эксплуатации.

Источник изображения: Iceotope

«KUL AI позволяет организациям развёртывать ИИ везде, где это необходимо, открывая новые возможности в плане операционной эффективности и инноваций даже в самых сложных IT-средах», — заявляет Iceotope.

Компания International Data Corporation (IDC) обнародовала свежий прогноз по глобальному рынку инфраструктур для приложений ИИ. Отрасль переживает стремительный рост, что обусловлено активным внедрением ИИ и машинного обучения в самых разных сферах.

Аналитики учитывают отгрузки серверов и СХД для задач ИИ. По оценкам, в I полугодии 2024-го продажи соответствующего оборудования достигли в денежном выражении $31,8 млрд. Это на 37 % больше по сравнению с показателем за аналогичный период 2023 года. При этом основную часть выручки обеспечили ИИ-серверы — приблизительно 89 % в общем объёме затрат.

В исследовании отмечается, что в I половине 2024 года инфраструктура ИИ, развёрнутая в облачных и общедоступных средах, обеспечила 65 % от суммарных продаж. Операторы ЦОД и гиперскейлеры вкладывают значительные средства в расширение своих мощностей.

Источник изображения: IDC

На серверы с ИИ-ускорителями пришлось 58 % от общих расходов на серверную инфраструктуру ИИ, а рост в годовом исчислении зафиксирован на уровне 63 %. IDC прогнозирует, что к 2028 году затраты на ИИ-серверы превысят 60 % от суммарных расходов в соответствующем сегменте. При этом показатель CAGR (среднегодовой темп роста в сложных процентах) прогнозирует в размере 19 % на протяжении пяти лет. Сегмент СХД в I полугодии 2024-го показал рост на 36 % в годовом исчислении, при этом 56 % расходов пришлось на облачные развёртывания.

США лидируют на мировом рынке ИИ-инфраструктур с долей почти 50 %. Далее следуют Китай (23 %), Азиатско-Тихоокеанский регион (16 %) и EMEA (10 %). В течение следующих пяти лет, как прогнозирует IDC, Азиатско-Тихоокеанский регион будет демонстрировать показатель CAGR около 20 %, США — 16 %, EMEA — 13 %, Китай — 11 %. К 2028 году, как ожидается, мировые расходы на инфраструктуру ИИ достигнут $107 млрд, при этом серверы, развёрнутые в облачных средах, обеспечат 75 % выручки. 

Согласно оценкам аналитиков DIGITIMES Research, глобальные поставки серверов в III квартале 2024 года выросли на 4,3 % по сравнению с предыдущим кварталом, превзойдя предыдущие прогнозы, но из-за высоких показателей базового периода поставки в IV квартале, как ожидается, последовательно снизятся.

Крупнейшие провайдеры облачных услуг (CSP) США продолжили наращивать закупки серверов общего назначения следующего поколения в III квартале. Большинство CSP также увеличили закупки высокопроизводительных ИИ-серверов по сравнению с предыдущим кварталом, отметили в DIGITIMES Research. Вместе с тем поставки в количественном выражении не оправдали ожиданий, поскольку клиенты сделали упор на закупки ИИ-серверов, отличающихся гораздо более высокой ценой.

DIGITIMES Research прогнозирует снижение в IV квартале мировых поставок серверов на 5,2 % по сравнению с III кварталом из-за высокой базы в связи с активными закупками серверов облачными провайдерами из США и ожидаемого начала поставок суперускорителей NVIDIA GB200 NVL72, что должно привести к замедлению темпов поставок серверов общего назначения. Серверные бренды и китайские CSP также снизят динамику поставок в IV квартале, и обе группы, как ожидается, столкнутся с более значительным последовательным снижением поставок по сравнению с конкурентами в сфере облачных услуг из США.

Источник изображения: Microsoft

DIGITIMES Research отметила, что общий рынок серверов продолжил восстановление в III квартале 2024 года, при этом CSP из США, такие, как Meta✴, Microsoft и Amazon, ускорили внедрение новых платформ, что привело к росту их совокупных поставок на 13 % по сравнению с предыдущим кварталом.

Вместе с тем американские серверные бренды — за исключением Dell — столкнулись со спадом поставок в III квартале, что привело к общему снижению поставок на 1,1 % за прошедшие три месяца. Спад в первую очередь связан с более консервативным в сравнении с гиперскейлерами подходом предприятий к инвестициям в ИТ, не связанным с ИИ, что привело к сокращению закупок серверов общего назначения.

Как ожидает DIGITIMES Research, в IV квартале 2024 года CSP из США в основном зафиксируют резкий последовательный спад поставок, за исключением Meta✴ и Microsoft, которые, как ожидается, продолжат начавшиеся в предыдущем квартале закупки новых серверов, что приведёт к небольшому росту поставок за квартал. Относительно устойчивые закупки Meta✴ и Microsoft позитивно отразятся на росте показателей их ключевых тайваньских партнёров по производству серверов, Wiwynn и Foxconn.

Состояние глобальной экономики в IV квартале останется неопределённым, что повлияет на инвестиции предприятий, сообщила DIGITIMES Research. Поскольку экономика Китая также замедляется, американские бренды и китайские CSP могут столкнуться в последние три месяца 2024 года с резким сокращением заказов.

Компания Lenovo анонсировала сервер ThinkSystem SC750 V4 Neptune, предназначенный для технических вычислений и обработки данных в различных областях, таких как аналитика, научные исследования, энергетика, проектирование и финансовое моделирование.

Система ThinkSystem SC750 V4 Neptune объединяет два узла, которые заключены в 19″ корпус с возможностью вертикального монтажа. Каждый узел может нести на борту два процессора Intel Xeon 6900 поколения Granite Rapids (до 128 ядер) с показателем TDP до 500 Вт. В расчёте на узел доступны 24 слота для модулей оперативной памяти TruDDR5 RDIMM-6400 или MRDIMM-8800 (в сумме до 3 Тбайт).

Каждый узел может комплектоваться шестью накопителями EDSFF E3.S NVMe SSD общей вместимостью до 92,16 Тбайт. Есть два сетевых порта 25GbE SFP28 на основе контроллера Broadcom 57414, один порт 1GbE RJ45 на базе Intel I210, два слота PCIe 5.0 x16. Габариты составляют 546 × 53 × 760 мм, масса — 37,2 кг. Говорится о совместимости с Red Hat Enterprise Linux, SUSE Linux Enterprise Server, Ubuntu и пр.

Источник изображения: Lenovo

Применено прямое жидкостное охлаждение Lenovo Neptune. Утверждается, что по сравнению с аналогичной системой с воздушным охлаждением сервер ThinkSystem SC750 V4 Neptune обеспечивает увеличение общей производительности до 10 % благодаря постоянной работе процессоров в турбо-режиме. При этом энергопотребление ЦОД от серверов может быть уменьшено на 40 %, тогда как шум от вентиляторов устраняется полностью.

Восемь лотков ThinkSystem SC750 V4 Neptune могут быть установлены в шасси ThinkSystem N1380 формата 13U: в сумме это даёт 16 узлов. Шасси может быть оборудовано четырьмя узлами Power Conversion Stations (PCS) с сертификатом 80 PLUS Titanium.

Компания Dell анонсировала серверы PowerEdge XE9685L и PowerEdge XE7740, предназначенные для НРС и ресурсоёмких рабочих нагрузок ИИ. Устройства могут монтироваться в 19″ стойку высокой плотности Dell Integrated Rack 5000 (IR5000), что позволяет экономить место в дата-центрах.

Источник изображений: Dell

Модель PowerEdge XE9685L в форм-факторе 4U рассчитана на установку двух процессоров AMD EPYC Turin. Применяется жидкостное охлаждение. Доступны 12 слотов для карт расширения PCIe 5.0. Говорится о возможности использования ускорителей NVIDIA HGX H200 или B200.

По заявлениям Dell, система PowerEdge XE9685L предлагает самую высокую в отрасли плотность GPU с поддержкой до 96 ускорителей NVIDIA в расчёте на стойку. Новинка подходит для организаций, решающих масштабные вычислительные задачи, такие как создание крупных моделей ИИ, запуск сложных симуляций или выполнение геномного секвенирования. Конструкция сервера обеспечивает оптимальные тепловые характеристики при высоких рабочих нагрузках, а наличие СЖО повышает энергоэффективность.

Вторая модель, PowerEdge XE7740, также имеет типоразмер 4U, но использует воздушное охлаждение. Допускается установка двух процессоров Intel Xeon 6 на базе производительных ядер P-core (Granite Rapids). Заказчики смогут выбирать конфигурации с восемью ИИ-ускорителями двойной ширины, включая Intel Gaudi 3 и NVIDIA H200 NVL, а также с 16 ускорителями одинарной ширины, такими как NVIDIA L4.

Сервер подходит для различных вариантов использования, например, для тонкой настройки генеративных моделей ИИ, инференса, аналитики данных и пр. Конструкция машины позволяет эффективно сбалансировать стоимость, производительность и масштабируемость.

Dell также готовит к выпуску новый сервер PowerEdge XE на базе NVIDIA GB200 NVL4. Говорится о поддержке до 144 GPU на стойку формата 50OU (Dell IR7000).

Основанный Илоном Маском (Elon Musk) стартап xAI, похоже, отнял все прежние заказы на ИИ-серверы у испытывающей не лучшие времена Supermicro, чтобы передать их её конкурентам. Как сообщает UDN, выгодоприобретателями станет Dell, а также её партнёры Inventec и Wistron. Для Supermicro, которой и без того грозит делистинг с Nasdaq, это станет очередным ударом.

Ранее Dell и Supermicro поставляли оборудования компаниям Илона Маска, в т.ч. xAI и Tesla. Официально сообщалось, что xAI закупила ИИ-серверы с жидкостным охлаждением у Supermicro. Но после того, как Министерство юстиции США начало расследование деятельности поставщика в связи с вероятными махинациями с бухгалтерской отчётностью и нарушением санкционного режима, акции компании обрушились. После этого, по данным UDN, компании Маска и приняли решения передать заказы другим исполнителям.

Среди поставщиков ИИ-серверов у Dell хорошие возможности получения заказов. Например, Wistron выпускает материнские платы для ИИ-серверов компании и выполняет некоторые задачи по сборке — партнёры станут одними из основных бенефициаров краха Supermicro. Фактически Wistron уже расширяет производственные мощности для удовлетворения спроса, в частности на трёх заводах на Тайване, а также в Мексике. В Wistron смотрят в будущее с большим оптимизмом и ожидают, что спрос на ИИ-серверы будет расти «трёхзначными» значениями в процентном отношении.

Источник изображения: Bermix Studio/unsplash.com

Inventec также является крупным поставщиком Dell и тоже получит свою долю «пирога» от заказа Supermicro. Компания давно участвует в производстве ИИ-систем и входит в тройку ведущих партнёров Dell, участвующих в сборке серверов. В 2024 году компания поставляла машины на чипах семейства NVIDIA Hopper, но в I квартале 2025 года она сможет поставлять уже варианты на платформе NVIDIA Blackwell — с ускорителями B200 и B200A. Считается, что у компании есть свободные производственные мощности в Мексике, поэтому она сможет нарастить выпуск ИИ-серверов для компаний, ранее работавших с Supermicro.

Фото: Michael Dell

Одной из ключевых причин проблем Supermicro считается задержка с подачей финансовых документов, из-за чего компания рискует покинуть биржу Nasdaq. Чтобы избежать делистинга, Supermicro должна была объяснить задержки с подачей материалов и подать доклад по форме K-10 к 16 ноября, но сделать этого не успела. Впрочем, первые неприятности у Supermicro начались значительно раньше, когда Hindenburg Research опубликовала разгромный доклад о финансовой отчётности компании.

Если Supermicro дождётся делистинга на бирже, это приведёт к серьёзными финансовыми последствиями, включая стремительное падение акций и необходимость немедленного погашения долга $1,725 млрд по конвертируемым облигациям — обычно такие «триггеры» учитываются в соглашениях и активируются при делистинге. Буквально на днях сообщалось, что Supermicro лишилась заказа от индонезийской YTL Group (YTLP) на поставку суперускорителей NVIDIA GB200 NVL72 для одного из крупнейших в Юго-Восточной Азии ИИ-суперкомпьютеров. Теперь поставками будет заниматься только Wiwynn, которая принадлежит всё той же Wistron. При этом сама Wiwynn сейчас судится с X (Twitter), которой владеет Илон Маск.

Компания Cisco анонсировала сервер высокой плотности UCS C885A M8, предназначенный для решения задач в области ИИ, таких как обучение больших языковых моделей (LLM), тонкая настройка моделей, инференс, RAG и пр.

Источник изображения: Cisco

Устройство выполнено в форм-факторе 8U. В зависимости от модификации устанавливаются два процессора AMD EPYC 9554 поколения Genoa (64 ядра; 128 потоков; 3,1–3,75 ГГц; 360 Вт) или два чипа EPYC 9575F семейства Turin (64 ядра; 128 потоков; 3,3–5,0 ГГц; 400 Вт). Доступны 24 слота для модулей DDR5-600 суммарным объёмом 2,3 Тбайт.

В максимальной конфигурации могут быть задействованы восемь SXM-ускорителей NVIDIA H100, H200 или AMD Instinct MI300X. Каждый ускоритель дополнен сетевым адаптером NVIDIA ConnectX-7 или NVIDIA BlueField-3 SuperNIC. Кроме того, в состав сервера входит DPU BlueField-3. Слоты расширения выполнены по схеме 5 × PCIe 5.0 x16 FHHL плюс 8 × PCIe 5.0 x16 HHHL и 1 × OCP 3.0 PCIe 5.0 x8 (для карты X710-T2L 2x10G RJ45 NIC).

Источник изображения: Cisco

Новинка оборудована загрузочным SSD вместимостью 1 Тбайт (M.2 NVMe), а также 16 накопителями U.2 NVMe SSD на 1,92 Тбайт каждый. Установлены два блока питания мощностью 2700 Вт и шесть блоков на 3000 Вт с возможностью горячей замены.

Cisco также представила инфраструктурные стеки AI POD, адаптированные для конкретных вариантов использования ИИ в различных отраслях. Они объединяют вычислительные узлы, сетевые компоненты, средства хранения и управления. Стеки, как утверждается, обеспечивают хорошую масштабируемость и высокую эффективность при решении ИИ-задач.

Тендеры китайского телеком-гиганта China Telecom могут служить своеобразным индикатором настроений на локальном рынке. По данным The Register, в 2024 году большая часть из 156 тыс. серверов, согласно требованиям компании, придётся на местных производителей, использующих «домашние» технологии.

China Telecom относится к «большой тройке» принадлежащих государству телеком-провайдеров, доминирующих на китайском рынке услуг связи. По данным на сентябрь 2024 года у оператора насчитывалось 442 млн мобильных абонентов и 196 млн пользователей широкополосного интернета. Кроме того, компания управляет публичным облаком, а также многими другими сервисами.

Для обеспечения работы всей инфраструктуры требуется очень много оборудования. В этом году речь идёт о поставках 156 тыс. сереров, всего в 13 вариантах конфигурации. В большинстве случаев речь идёт о машинах «G-класса» — разработанных и выпускаемых в Китае серверах, использующих в том числе чипы местного производства. Это укладывается в общую правительственную политику поддержки местных технологий. Впрочем, компании из других стран тоже заработают, поскольку большинство серверов использует чипы на архитектуре Arm или C86 — лицензированном варианте x86.

Источник изображения: Kido Dong/unsplash.com

Так или иначе, для приблизительно 100 тыс. серверов чипы AMD или Intel не подойдут. В числе заявленных закупок — чипы производства китайской Loongson. В перечне одобренных China Telecom CPU значатся и процессоры компании Zhaoxin на архитектуре Yongfeng — они созданы с использованием интеллектуальной собственности VIA (лицензия на x86). Также будут использоваться и RISC-процессоры компании Shenwei (Sunway).

Некоторые участники рынка уже отвоевали место в списке закупок China Telecom: речь идёт о Lenovo, Inspur и H3C, а также более мелких местных производителей. Весной 2024 года сообщалось, что китайские телеком-операторы готовы потратить миллиарды долларов на закупку огромного количества ИИ-серверов.

Meta✴ поделилась своими новинками в области аппаратной инфраструктуры и рассказала, каким именно видит будущее открытых ИИ-платформ. В своей презентации Meta✴ рассказала о новой ИИ-платформе, новых дизайнах стоек, включая варианты с повышенной мощностью питания, а также о новинках в области сетевой инфраструктуры.

Источник изображений: Meta✴

В настоящее время компания использует нейросеть Llama 3.1 405B. Контекстное окно у этой LLM достигает 128 тыс. токенов, всего же токенов свыше 15 трлн. Чтобы обучать такие модели, требуются очень серьёзные ресурсы и глубокая оптимизация всего программно-аппаратного стека. В обучении базовой модели Llama 3.1 405B участвовал кластер 16 тыс. ускорителей NVIDIA H100, один из первых такого масштаба. Но уже сейчас для обучения ИИ-моделей Meta✴ использует два кластера, каждый с 24 тыс. ускорителей.

Проекты такого масштаба зависят не только от ускорителей. На передний план выходят проблемы питания, охлаждения и, главное, интерконнекта. В течение нескольких следующих лет Meta✴ ожидает скоростей в районе 1 Тбайт/с на каждый ускоритель. Всё это потребует новой, ещё более плотной архитектуры, которая, как считает Meta✴, должна базироваться на открытых аппаратных стандартах.

Одной из новинок стала платформа Catalina. Это Orv3-стойка, сердцем которой являются гибридные процессоры NVIDIA GB200. Стойка относится к классу HPR (High Power Rack) и рассчитана на 140 КВт. Сейчас Microsoft и Meta✴ ведут работы над модульной и масштабируемой системой питания Mount Diablo. Свой вариант GB200 NVL72 у Microsoft тоже есть. Также Meta✴ обновила ИИ-серверы Grand Teton, впервые представленные в 2022 году. Это по-прежнему монолитные системы, но теперь они поддерживают не только ускорители NVIDIA, но и AMD Instinct MI300X и будущие MI325X.

Интерконнектом будущих платформ станет сеть DSF (Disaggregated Scheduled Fabric). Благодаря переходу на открытые стандарты компания планирует избежать ограничений, связанных с масштабированием, зависимостью от вендоров аппаратных компонентов и плотностью подсистем питания. В основе DSF лежит стандарт OCP-SAI и ОС Meta✴ FBOSS для коммутаторов. Аппаратная часть базируется на стандартном интерфейсе Ethernet/RoCE.

Meta✴ уже разработала и воплотила в металл новые коммутаторы класса 51Т на базе кремния Broadcom и Cisco, а также сетевые адаптеры FBNIC, созданные при поддержке Marvell. FBNIC может иметь до четырёх 100GbE-портов. Используется интерфейс PCIe 5.0, причём могущий работать как четыре отдельных слайса. Новинка соответствует открытому стандарту OCP NIC 3.0 v1.2.0.

Компания Dell Technologies анонсировала интегрированные стоечные масштабируемые системы для экосистемы AI Factory, рассчитанные на задачи НРС и ресурсоёмкие приложения ИИ. В частности, дебютировали решения Integrated Rack 7000 (IR7000), PowerEdge M7725 и PowerEdge XE9712.

Источник изображений: Dell

IR7000 — это высокоплотная 21″ стойка Open Rack Version 3 (Orv3) с поддержкой жидкостного охлаждения. Говорится о совместимости с мощными CPU и GPU с высоким значением TDP. Модификации 44OU и 50OU оснащены салазками, которые шире и выше традиционных: это гарантирует совместимость с несколькими поколениями архитектур процессоров и ИИ-ускорителей. Полки питания в настоящее время поддерживают мощность от 33 кВт до 264 кВт на стойку с последующим увеличением до 480 кВт.

Система Dell PowerEdge M7725 специально спроектирована для вычислений высокой плотности. В основу положены процессоры AMD серии EPYC 9005 (Turin), насчитывающие до 192 вычислительных ядер. Одна стойка IR7000 может вместить 72 серверных узла M7725, каждый из которых оборудован двумя CPU. Таким образом, общее количество вычислительных ядер превышает 27 тыс. на стойку. Возможно развёртывание прямого жидкостного охлаждения (DLC) и воздушного охлаждения. Доступны два IO-слота (PCIe 5.0 x16) в расчёте на узел с поддержкой Ethernet и InfiniBand.

В свою очередь, система Dell PowerEdge XE9712 разработана для обучения больших языковых моделей (LLM) и инференса в реальном времени. Эта новинка использует архитектуру суперускорителя NVIDIA GB200 NVL72. В общей сложности задействованы 72 чипа B200 и 36 процессоров Grace. Утверждается, что такая конфигурация обеспечивает скорость инференса до 30 раз выше по сравнению с системами предыдущего поколения.