В настоящее время ИИ является основным драйвером инвестиций в ЦОД, капитальные затраты на которые в этом году вырастут почти на 30 %, пишет The Register со ссылкой на исследование Omdia. Согласно прогнозу аналитиков, в течение нескольких лет ИИ станет основной серверной рабочей нагрузкой в ЦОД.

Приложения ИИ являются наиболее быстрорастущей категорией среди нагрузок, исходя из количества развёртываемых в год серверов. Согласно данным Omdia, рост расходов на серверы в прошлом году полностью приходится на ИИ-оборудование. В 2024 году спрос на использование ИИ ускорил инвестиции в ЦОД — капитальные затраты, «подкреплённые корпоративными денежными резервами крупных гиперскейлеров», как ожидает Omdia, вырастут на 28,5 %.

По подсчётам Omdia, продажи серверов в этом году вырастут на 74 % до $210 млрд с $121 млрд в 2023 году. В дальнейшем количество серверов для обучения ИИ будет расти примерно на 5 % в год до чуть менее 1 млн/год в 2029 году. А количество серверов для инференса будет расти со скоростью 17 % в год, и к 2029 году годовые поставки достигнут 4 млн шт. Это объясняется тем, что серверы для обучения ИИ в основном нужны небольшому количеству гиперскейлеров. Они сосредоточены на достижении максимальной эффективности своего ИИ-оборудования и у них нет потребности закупать много серверов.

Источник изображений: Omdia

В Omdia считают, что обучение ИИ можно классифицировать как деятельность в области НИОКР, и поэтому, оно будет подлежать плановому распределению бюджета, то есть реинвестированию доли доходов. А количество серверов, необходимых для инференса, наоборот, будет расти по мере увеличения аудитории пользователей приложений ИИ. Как утверждают в Omdia, в основном в течение следующих пяти лет будут продолжать быстро расти продажи ИИ-серверов, а рост поставок других типов серверов будет значительно меньше.

Прогнозируется, что расходы на управление температурным режимом в ЦОД вырастут в 2024 году на 22 % год к году до $9,4 млрд. Побочным эффектом роста спроса на более мощное серверное оборудование стал бум внедрения СЖО. По прогнозам Omdia, общий доход от СЖО превысит к концу этого года отметку в $2 млрд, а к 2028 году будет больше $5 млрд. Доходы от инфраструктуры распределения электроэнергии в этом году впервые превысят $4 млрд, а доходы от источников бесперебойного питания вырастут на 10 % до $13 млрд.

Компания Supermicro, по сообщению ресурса The Register, планирует развернуть дополнительные мощности по выпуску оборудования с жидкостным охлаждением для дата-центров. Спрос на такие решения растёт на фоне стремительного развития ИИ и платформ НРС.

Не так давно глава Supermicro Чарльз Лян (Charles Liang) заявил, что использование СЖО в ЦОД вырастет на тысячи процентов в ближайшие два года. Приблизительно 15 % стоек, отгруженных компанией в 2024 году, будут оснащены СЖО, а в 2025-м этот показатель может достичь 30 %.

На этом фоне Supermicro расширяет производство оборудования с СЖО в Кремниевой долине. В частности, планируется открытие трёх новых кампусов. Они станут частью новой экосистемы СЖО, нацеленной на удовлетворение потребностей клиентов по всему миру. Предприятия сосредоточат усилия на комплексных готовых решениях с жидкостным охлаждением, включая отдельные системы и стойки.

Источник изображения: Supermicro

«Многие операторы дата-центров присматриваются к энергосберегающим решениям с прямым жидкостным охлаждением (DLC). Supermicro разрабатывает модульные платформы с СЖО для фабрик ИИ и задач НРС», — отмечает Лян.

Говорится, что дополнительные мощности будут развёрнуты в Сан-Хосе (Калифорния, США) и в Азии. В частности, в Сан-Хосе Supermicro ранее в этом году приобрела около 8 га земли и различные объекты, которые будут использоваться для производства, сборки и складирования продукции. Кроме того, Supermicro арендует в этом регионе многофункциональные производственные и складские площади. Компания также строит современный комплекс в Малайзии.

В Supermicro заявляют, что продолжают тесно сотрудничать с операторами ЦОД для оптимизации характеристик оборудования под конкретные задачи и нагрузки. Многие из моделей серверов компании предназначены именно для жидкостного охлаждения.

Компания H3C Technologies, базирующаяся в Китае, по информации ресурса DigiTimes, заключила соглашение о сотрудничестве с Foxconn с целью открытия своего первого зарубежного завода. Предприятие расположится в Малайзии: выпуск продукции на нём планируется начать в сентябре нынешнего года.

H3C, принадлежащая Tsinghua Unigroup и HPE, является крупнейшим в Китае поставщиком серверов и памяти HPE, а также технических услуг. По оценкам IDC, H3C занимала второе место в рейтинге производителей серверов x86 в КНР в течение трёх лет подряд — с 2021-го по 2023 год: доля этой компании оценивалась в 15,8 %. Кроме того, H3C удерживала в Китае первое место (51,7 %) в сегменте блейд-серверов с 2019-го по 2023 год и второе место (20,5%) в области GPU-серверов с первой половины 2020-го по 2023 год.

Партнёрство с Foxconn является частью стратегии H3C по выходу на международный рынок. В течение следующих двух-трёх лет H3C намерена запустить производственные мощности в США, Мексике и Европе. План состоит в том, чтобы использовать передовые технологии Тайваня для развития бизнеса в других регионах. В частности, в Малайзии H3C намерена предоставлять цифровые решения и техническую поддержку, используя свой опыт в области ИИ, IoT, облачных вычислений, больших данных и информационной безопасности. Предполагается, что это будет способствовать цифровой трансформации страны.

Источник изображения: H3C

H3C планирует задействовать мощности Foxconn по производству чипов в Малайзии. Последняя приобрела примерно 5,03 % акций малазийской компании Dagang Nexchange Bhd (DNex), которой принадлежит доля в размере 60 % в SilTerra — местном производителе полупроводниковой продукции.

Между тем HPE намерена избавиться от оставшейся доли в совместном китайском предприятии H3C. Недавно Tsinghua Unigroup приобрела у НРЕ 30 % акций H3C примерно за $2,14 млрд, увеличив свою долю с 51 % до 81 %. В дальнейшем Tsinghua Unigroup может купить оставшиеся 19 % бумаг H3C.

В ходе конференции Worldwide Developer Conference (WWDC), состоявшейся в понедельник, компания Apple упомянула о том, что её серверы на собственных чипах и ОС используются для новых ИИ-сервисов Apple Intelligence. Как отмечает The Register, прямо компания не говорила ни о CPU, ни об ОС и никогда не подтверждала слухи об ИИ-серверах собственной разработки, но отсылки ко всем этим компонентам оказались разбросаны по презентациям на WWDC.

Новые функции завязаны на Apple Private Cloud Compute — серверную экосистему, где IT-гигант применяет большие ИИ-модели, которые справляются с некоторыми задачами намного лучше, чем компактные модели на пользовательских устройствах. В компании отмечают, что Private Cloud Compute использует мощные и безопасные кастомные серверы в своих ЦОД. Также упоминается термин «вычислительный узел», но нет точных данных о том, является ли он синонимом слова «сервер».

Источник изображения: Apple

Подчёркивается, что облачные мощности используют те же аппаратные технологии обеспечения безопасности, что и, например, iPhone, включая Secure Enclave и Secure Boot. Машины используют новую защищённую ОС на базе iOS и macOS, где отсутствуют некоторые административные компоненты. К минимуму свели даже телеметрию, обычно критически важную для поддержания работы облака. Другими словами, доступ к данным получит только пользователь, доступа не будет даже у системных администраторов.

Если в ряде случаев возможностей смартфона или планшета будет не хватать для конкретной ИИ-задачи, Apple будет определять, какой необходимый минимум данных нужен для решения задачи и отправлять их в зашифрованным виде в облаке. В облаке для каждой такой задачи будет создавать зашифрованный же анклав, который после обработки данных и отправки результата пользователю (тоже с шифрованием) будет полностью удалён. Другими словами, исходные фото, видео и другой контент никогда не будут покидать устройства пользователя, а их отслеживание и расшифровка весьма проблематичны.

Уже сейчас в своих облаках Arm-чипы AWS, Google, Oracle и Microsoft. По соотношению цена/производительность они нередко лучше, чем чипы Intel или AMD, во всяком случае при решении некоторых задач, в том числе инференса, поэтому вполне логично, если к таким же решениям прибегнет и Apple.

Компания ASUS анонсировала мощный вычислительный комплекс ESC AI POD, предназначенный для решения ресурсоёмких задач в области ИИ и НРС. В основу новинки положена платформа NVIDIA GB200 NVL72 на архитектуре Blackwell. Решение ESC NM2N721-E1 использует 72 ускорителя NVIDIA Blackwell и 36 процессоров NVIDIA Grace, объединённых интерконнекта NVIDIA NVLink 5.

Источник изображений: ASUS

Утверждается, что ESC AI POD поддерживает работу с большими языковыми моделями (LLM), насчитывающими до триллиона параметров. В состав системы входят вычислительные узлы, коммутаторы, а также полки питания 1U мощностью 33 кВт. Возможно развёртывание воздушно-жидкостного или полностью жидкостного охлаждения.

Кроме того, ASUS продемонстрировала в рамках Computex 2024 другие новинки. В их числе — системы, выполненные на модульной архитектуре NVIDIA MGX. Это, в частности, сервер ESC NM1-E1 типоразмера 2U, комплектующийся суперчипом NVIDIA Grace Hoppe GH200. Он использует технологию NVIDIA NVLink-C2C и поддерживает воздушное охлаждение. Кроме того, показаны серверы ESC NM2-E1 и ESR1-511N-M1 (стандарта 1U).

Среди других решений упоминаются серверы ESC N8 на платформе Intel Xeon Emerald Rapids и ESC N8A на базе AMD EPYC 9004 (Genoa). Эти системы несут на борту ускорители NVIDIA Blackwell. Кроме того, ASUS готовит новые ИИ-решения, оснащённые сетевым ускорителем NVIDIA BlueField-3 SuperNIC.

Компания Supermicro анонсировала серверы нового поколения X14 на аппаратной платформе Intel Xeon 6. Дебютировало большое количество стоечных систем разного класса для облачных приложений, периферийных вычислений, телекоммуникационных сервисов и пр.

Как и ожидалось, в серию X14 вошли модели SuperBlade для НРС-задач и аналитики данных, высокопроизводительные серверы Hyper для масштабируемых облачных рабочих нагрузок, решения CloudDC для дата-центров, системы Hyper-E для периферийных задач, а также устройства WIO, BigTwin, GrandTwin и Edge/Telco.

Кроме того, дебютировали серверы хранения Petascale Storage, которые, по заявлениям Supermicro, обеспечивают лучшие в отрасли показатели плотности и производительности. Эти решения в формате 1U или 2U поддерживают работу с накопителями EDSFF E1.S и E3.S.

Новые серверы комплектуются процессорами Intel Xeon 6, ранее известными под кодовым именем Sierra Forest. Чипы могут содержать до 144 энергоэффективных E-ядер. В дальнейшем Supermicro выпустит серверы с процессорами Xeon 6 с производительными P-ядрами (ранее — Granite Rapids). Готовятся GPU-системы для ИИ-нагрузок, обучения больших языковых моделей (LLM) и ресурсоёмких приложений НРС. Кроме того, будут представлены многоузловые платформы. Для некоторых новинок предусмотрено использование СЖО.

На выставке Computex 2024 компания Supermicro также демонстрирует ИИ-системы SuperCluster на базе NVIDIA Blackwell и NVIDIA HGX H100/H200. Эти мощные комплексы могут оснащаться воздушным или жидкостным охлаждением.

Компания Giga Computing, серверное подразделение Gigabyte, анонсировала серверы и материнские платы с поддержкой процессоров Intel Xeon 6, ранее известных под кодовым именем Sierra Forest. Дебютировали модели с возможностью установки одного или двух чипов для широкого спектра задач.

Отмечается, что в ассортимент Giga Computing на базе Xeon 6 входят мощные GPU-модели, решения с прямым жидкостным охлаждением (DLC), многоузловые серверы, материнские платы и серверы общего назначения, а также серверы для периферийных вычислений.

В частности, дебютировали GPU-системы G494 и G294 в форм-факторе соответственно 4U и 2U. Первый из этих серверов поддерживает до десяти ускорителей и имеет дополнительные слоты PCIe для сетевых карт и пр. Доступны отсеки для LFF/SFF-накопителей NVMe/SATA/SAS. Вторая модель предлагает до восьми SFF-отсеков SATA/SAS-4 с возможностью горячей замены и до восьми слотов FHFL PCIe 5.0 x16.

В свою очередь, серверы H-серии высокой плотности могут комплектоваться СЖО. В это семейство, в частности, входит модель H274 с четырьмя узлами, которая в максимальной конфигурации предлагает до 1152 энергоэффективных E-ядер. Многоузловые серверы подходят для облачных задач и микросервисов.

Кроме того, анонсированы серверы общего назначения (R164, R264, R184 и R284) и материнские платы (MS74, MS04 и MS34), которые предлагают гибкие варианты использования. Дебютировали модификации с одним и двумя сокетами, несколькими слотами расширения PCIe, поддержкой накопителей U.2/U.3 или E1.S/E3.S. Для периферийных задач предназначены серверы серии E (E164 и E264) с небольшой глубиной — всего 520 мм.

Компания Quanta Cloud Technology (QCT) представила серверы семейства QuantaGrid на аппаратной платформе AMD EPYC 9004 (Genoa). Новинки предназначены для облачных приложений, задач ИИ и НРС.

В частности, дебютировали модели QuantaGrid S44NL-1U и QuantaGrid D44N-1U типоразмера 1U. Они рассчитаны на установку соответственно одного и двух процессоров EPYC 9004 с показателем TDP до 400 Вт. Доступны 24 слота для модулей оперативной памяти DDR5-4800. В зависимости от варианта исполнения возможно использование 12 накопителей SFF NVMe/SATA/SAS SSD или 12/16 устройств E1.S NVMe SSD. Опционально могут монтироваться два модуля M.2 2230/2280 с интерфейсом PCIe 3.0.

Источник изображений: QCT

Слоты расширения могут быть выполнены по схеме 3 × PCIe 5.0 x16 HHHL и 2 × PCIe 5.0 x16 OCP 3.0 SFF, 2 × PCIe 5.0 x16 HHHL и 2 × PCIe 5.0 x16 OCP 3.0 SFF или 2 × PCIe 5.0 x16 FHHL и 2 × PCIe 5.0 x16 OCP 3.0 SFF. Доступен выделенный сетевой порт управления 1GbE. В оснащение входит контроллер AST2600. Допускается развёртывание системы жидкостного охлаждения. Питание обеспечивают два блока с сертификатом 80 PLUS Titanium мощностью до 1600 Вт у младшей версии и до 2000 Вт у старшей.

Кроме того, представлен мощный сервер QuantaGrid D74A-7U формата 7U. Он рассчитан на два процессора EPYC 9004 с TDP до 400 Вт. Во фронтальной части находятся 18 отсеков для SFF-накопителей NVMe. В максимальной конфигурации могут быть задействованы восемь ускорителей в составе платы NVIDIA HGX H100. Реализованы два слота PCIe 5.0 x16 OCP 3.0 SFF и десять слотов PCIe 5.0 x16 OCP 3.0 TSFF. В оснащение включён выделенный сетевой порт управления 1GbE.

Компания Lenovo представила серверы семейства ThinkSystem V4 на новейшей аппаратной платформе Intel Xeon 6. Дебютировали системы ThinkSystem SR630 V4 и ThinkSystem SD520 V4 в форм-факторе 1U и 2U соответственно.

Модель ThinkSystem SR630 V4 поддерживает установку двух чипов Xeon 6 (Sierra Forest), насчитывающих до 144 энергоэффективных E-ядер, и 32 модулей оперативной памяти TruDDR5-6400. Система может нести на борту до 12 накопителей SFF NVMe или до 16 устройств EDSFF E3.S. Кроме того, есть два коннектора для SSD типоразмера M.2.

Источник изображений: Lenovo

Сервер располагает пятью слотами PCIe 5.0 и двумя разъёмами OCP 3.0. Могут быть установлены до трёх ускорителей на основе GPU одинарной ширины с показателем TDP до 75 Вт. Возможно использование двух блоков питания мощностью до 2000 Вт с сертификатом Platinum или Titanium. Возможно применение жидкостного охлаждения Lenovo Neptune. Упомянуты сетевой порт управления 1GbE, два порта USB 3.0 и аналоговый разъём D-Sub.

В свою очередь, ThinkSystem SD520 V4 — четырёхузловой сервер, предназначенный для ресурсоёмких рабочих нагрузок. Каждый узел может нести на борту один чип Xeon 6 со 144 Е-ядрами и показателем TDP до 350 Вт, восемь модулей TruDDR5-5600, до шести SFF-накопителей NVMe/SAS/SATA или до двух устройств E3.S 1T (NVMe), а также два SSD формата М.2. Есть по одному слоту OCP 3.0 (PCIe 5.0) и PCIe 5.0 x16 HHHL, сетевой порт управления 1GbE. Может быть добавлен GPU-ускоритель с TDP до 75 Вт. Шасси допускает монтаж трёх блоков питания мощностью до 2700 Вт каждый.

Компания ASRock Rack анонсировала систему 6U8M-GENOA2 — свой первый GPU-сервер, оснащённый ускорителями AMD Instinct MI300X. Кроме того, дебютировали новые решения на платформе AMD EPYC 9004 (Genoa) — модели 1U12E-GENOA/EVAC и 1U12L4E-GENOA/2Q.

Характеристики 6U8M-GENOA2 полностью пока не раскрываются. Известно, что новинка выполнена в форм-факторе 6U с применением процессоров EPYC 9004. Допускается установка до восьми ускорителей Instinct MI300X, соединённых между собой посредством Infinity Fabric. Общий объём высокопроизводительной памяти HBM3 может достигать 1,5 Тбайт. Сервер ориентирован на приложения генеративного ИИ, задачи НРС и пр.

В свою очередь, 1U12E-GENOA/EVAC — это сервер в форм-факторе 1U, предназначенный для построения СХД типа All-Flash. Он допускает установку одного чипа AMD EPYC в исполнении SP5 с показателем TDP до 360 Вт. Доступны 12 слотов для модулей DDR5-4800. Поддерживается использование до 12 накопителей SFF NVMe (PCIe 5.0 x4), а также двух SSD типоразмера М.2 22110/2280/2260 с интерфейсом PCIe 5.0 x4 или SATA-3. Есть два разъёма для карт расширения FHHL PCIe 5.0 x16 и один слот OCP NIC 3.0 (PCIe 5.0 x16). Питание обеспечивают два блока мощностью 1600 Вт с сертификатом 80 PLUS Platinum.

Источник изображений: ASRock Rack

Модель 1U12L4E-GENOA/2Q также представляет собой сервер хранения типоразмера 1U. Он может быть оснащён одним чипом AMD EPYC 9004 с TDP до 300 Вт и 12 модулями DDR5-4800. Есть 12 посадочных мест для LFF-накопителей с интерфейсом SATA-3 и четыре посадочных места для SFF-изделий NVMe (PCIe 4.0 x4). Кроме того, предусмотрены два коннектора для SSD стандарта М.2 22110/2280/2260 с интерфейсом PCIe 5.0 x4 или SATA-3. Задействованы два блока питания на 1000 Вт. Есть по одному слоту для карт FHHL PCIe 5.0 x16, HHHL PCIe 5.0 x16 и OCP NIC 3.0 (PCIe 5.0 x16).