Специализирующаяся на строительстве и управлении ЦОД американская TECfusions заключила соглашение с TensorWave, предусматривающее предоставление последней ИИ-инфраструктуры. По информации Datacenter Dynamics, в рамках договора TensorWave будет арендовать у оператора 1 ГВт ёмкости ЦОД.

По словам представителя TECfusions, сотрудничество знаменует собой переломный момент в развитии ИИ-инфраструктуры. Как говорит компания, в ЦОД в Кларксвилле (Clarksville) уже размещён один из крупнейших в мире кластеров ускорителей, а сделка является свидетельством готовности TECfusions к самым ресурсоёмким проектам.

Развёртывание 1 ГВт будет происходить поэтапно, но доступ к значимой доле ёмкости должен появиться уже к началу 2025 года. Tecfusion намерена использовать локальные генерирующие мощности, функционирующие в основном на природном газе, для обеспечения стабильных поставок энергии и во избежание скачков цен на неё. Компания уже владеет микросетями на территории ЦОД в Нью-Кенсингтоне (200 МВт, Пенсильвания) и Кларксвилле (220 МВт, Вирджиния).

Источник изображения: Henry Deng/unsplash.com

Партнёрство сформировано по итогам SAFE-раунда финансирования TensorWaves, в ходе него привлечено $43 млн. Основанный в 2023 году стартап из Лас-Вегаса предоставляет клиентам доступ к вычислительным ИИ-мощностям на основе ускорителей AMD. На полученные средства TensorWave оснастит ЦОД ускорителями AMD Instinct MI300X, расширит команду и начнёт подготовку к внедрению следующего поколения ускорителей Instinct MI325X. На IV квартал намечен запуск новой инференс-платформы Manifest в IV.

Как заявляют в TensorWave, способность TECfusions выводить на рынок масштабные, готовые к ИИ-задачам ёмкости за считанные месяцы значительно ускорит освоение рынка компанией. Партнёрство имеет ключевое значение для сохранения конкурентоспособности в ИИ-секторе.

Сейчас TECfusions управляет тремя действующими ЦОД — в Аризоне, Пенсильвании и Вирджинии. В сентябре оператор объявил о завершении строительства третьего зала для ИИ-оборудования в Кларксвилле. Теперь общая ёмкость этого дата-центра достигла 34,5 МВт. До конца года будет оснащён четвёртый зал на 13,5 МВт.

Компания Cisco анонсировала сервер высокой плотности UCS C885A M8, предназначенный для решения задач в области ИИ, таких как обучение больших языковых моделей (LLM), тонкая настройка моделей, инференс, RAG и пр.

Источник изображения: Cisco

Устройство выполнено в форм-факторе 8U. В зависимости от модификации устанавливаются два процессора AMD EPYC 9554 поколения Genoa (64 ядра; 128 потоков; 3,1–3,75 ГГц; 360 Вт) или два чипа EPYC 9575F семейства Turin (64 ядра; 128 потоков; 3,3–5,0 ГГц; 400 Вт). Доступны 24 слота для модулей DDR5-600 суммарным объёмом 2,3 Тбайт.

В максимальной конфигурации могут быть задействованы восемь SXM-ускорителей NVIDIA H100, H200 или AMD Instinct MI300X. Каждый ускоритель дополнен сетевым адаптером NVIDIA ConnectX-7 или NVIDIA BlueField-3 SuperNIC. Кроме того, в состав сервера входит DPU BlueField-3. Слоты расширения выполнены по схеме 5 × PCIe 5.0 x16 FHHL плюс 8 × PCIe 5.0 x16 HHHL и 1 × OCP 3.0 PCIe 5.0 x8 (для карты X710-T2L 2x10G RJ45 NIC).

Источник изображения: Cisco

Новинка оборудована загрузочным SSD вместимостью 1 Тбайт (M.2 NVMe), а также 16 накопителями U.2 NVMe SSD на 1,92 Тбайт каждый. Установлены два блока питания мощностью 2700 Вт и шесть блоков на 3000 Вт с возможностью горячей замены.

Cisco также представила инфраструктурные стеки AI POD, адаптированные для конкретных вариантов использования ИИ в различных отраслях. Они объединяют вычислительные узлы, сетевые компоненты, средства хранения и управления. Стеки, как утверждается, обеспечивают хорошую масштабируемость и высокую эффективность при решении ИИ-задач.

Advanced Micro Devices (AMD) сообщила финансовые результаты III квартала, завершившегося 28 сентября 2024 года. Несмотря на то, что прибыль совпала с прогнозами, а выручка немного превзошла ожидания Уолл-стрит, акции компании упали после оглашения итогов на 7 %, поскольку инвесторов не устроил прогноз на IV квартал и ожидания по выпуску ИИ-ускорителей в 2025 году.

Выручка AMD в III квартале составила $6,82 млрд, что выше результата аналогичного квартала в 2023 году на 18 %, а также выше консенсус-прогноза аналитиков, опрошенных LSEG, составившего $6,71 млрд.

Источник изображений: AMD

Чистая прибыль (GAAP) в размере $771 млн или 47 центов на акцию превысила на 158 % показатель III квартала прошлого года, равный $299 млн (18 центов на акцию). Скорректированная прибыль (Non-GAAP) равняется $1,50 млрд или $0,92 на акцию, что на 33 % больше показателя годичной давности и совпало с консенсус-прогнозом аналитиков, предоставленным LSEG.

«Мы добились сильных финансовых результатов в III квартале с рекордной выручкой, обусловленной ростом продаж продуктов для ЦОД EPYC и Instinct, а также высоким спросом на наши процессоры Ryzen для ПК», — заявила генеральный директор AMD д-р Лиза Су (Lisa Su).

Выручка компании в сегменте ЦОД выросла более чем в два раза (на 122 %) год к году и на 25 % последовательно, составив $3,5 млрд. Драйверами роста были рост поставок ускорителей AMD Instinct и увеличение продаж процессоров AMD EPYC. В отчётном квартале продажи чипов для ЦОД принесли AMD более половины выручки.

Лиза Су не назвала конкретные цифры продаж, отметив, что выручка от реализации ускорителей AMD Instinct в минувшем квартале составила более $1,5 млрд. Для сравнения, во II квартале было продано AMD Instinct на более, чем $1 млрд.

Продажи в сегменте встраиваемых систем упали год к году на 25% до $927 млн, поскольку клиенты привели к норме уровень запасов. Впрочем, здесь зафиксированы признаки восстановления, так как продажи выросли последовательно на 8 %. Сегмент клиентских решений увеличил выручку год к году на 29 % до $1,9 млрд, а в игровом сегменте выручка упала год к году на 69 % до $462 млн.

В IV квартале 2024 года AMD ожидает, что выручка составит около $7,5 млрд ± $300 млн, что в средней точке выше прошлогоднего показателя на 22 % и соответствует консенсус-прогнозу аналитиков Уолл-стрит, ожидающим $1,16 скорректированной прибыли (Non-GAAP) на акцию при $7,54 млрд выручки. Также AMD повысила прогноз продаж по ИИ-ускорителям до $5 млрд в 2025 году.

Компания OpenAI, по информации Reuters, разрабатывает собственные чипы для обработки ИИ-задач. Партнёром в рамках данного проекта выступает Broadcom, а организовать производство изделий планируется на мощностях TSMC ориентировочно в 2026 году.

Слухи о том, что OpenAI обсуждает с Broadcom возможность создания собственного ИИ-ускорителя, появились минувшим летом. Тогда говорилось, что эта инициатива является частью более масштабной программы OpenAI по увеличению вычислительных мощностей компании для разработки ИИ, преодолению дефицита ускорителей и снижению зависимости от NVIDIA.

Как теперь стало известно, OpenAI уже несколько месяцев работает с Broadcom над своим первым чипом ИИ, ориентированным на задачи инференса. Соответствующая команда разработчиков насчитывает около 20 человек, включая специалистов, которые ранее принимали участие в проектировании ускорителей TPU в Google, в том числе Томаса Норри (Thomas Norrie) и Ричарда Хо (Richard Ho). Подробности о проекте не раскрываются.

Reuters, ссылаясь на собственные источники, также сообщает, что OpenAI в дополнение к ИИ-ускорителям NVIDIA намерена взять на вооружение решения AMD, что позволит диверсифицировать поставки оборудования. Речь идёт о применении изделий Instinct MI300X, ресурсы которых будут использоваться через облачную платформу Microsoft Azure.

Источник изображения: Unsplash

Это позволит увеличить вычислительные мощности: компания OpenAI только в 2024 году намерена потратить на обучение ИИ-моделей и задачи инференса около $7 млрд. Вместе с тем, как отмечается, OpenAI пока отказалась от амбициозных планов по созданию собственного производства ИИ-чипов. Связано это с большими финансовыми и временными затратами, необходимыми для строительства предприятий.

Компания ASRock Rack анонсировала материнскую плату TURIN2D48G-2L+, предназначенную для построения серверов на платформе AMD. Новинка, выполненная в проприетарном форм-факторе, допускает установку двух процессоров семейства EPYC 9005 (Turin) или  EPYC 9004 (Genoa) в исполнении Socket SP5 (LGA 6096) с показателем TDP до 500 Вт.

Особенность платы заключается в наличии 48 слотов для модулей DDR5-5200 (24 слота в расчёте на CPU). При использовании изделий RDIMM-3DS ёмкостью 512 Гбайт суммарный объём ОЗУ в системе может достигать 24 Тбайт.

Реализованы 12 коннекторов MCIO (PCIe 5.0 / CXL 2.0 x8), четыре разъёма MCIO (PCIe 5.0 / CXL 2.0 x8 или 8 × SATA-3), по два коннектора MCIO (PCIe 5.0 или 8 × SATA-3) и MCIO (PCIe 5.0 x8). Есть также разъём SlimSAS (PCIe 3.0 x2) и два коннектора M.2 для SSD типоразмеров 22110/2280 с интерфейсом PCIe 3.0 x4 или SATA-3. В общей сложности могут быть задействованы до 34 портов SATA-3 для подключения накопителей.

Источник изображения: ASRock Rack

В оснащение входят BMC-контроллер ASPEED AST2600, двухпортовый сетевой адаптер Intel i350 стандарта 1GbE и контроллер Realtek RTL8211F, на базе которого выполнен выделенный сетевой порт управления. Интерфейсный блок содержит три гнезда RJ45 для сетевых кабелей, два порта USB 3.2 Gen1 Type-A и аналоговый разъём D-Sub. Через разъёмы на плате можно использовать ещё два порта USB 3.2 Gen1, последовательный порт и пр. Есть шесть гнёзд для подключения вентиляторов охлаждения. Диапазон рабочих температур — от +10 до +35 °C.

Компания AMD анонсировала изделие Alveo UL3422: это, как утверждается, самый быстрый в мире однослотовый ускоритель половинной длины (FHHL) для брокерских и биржевых приложений. Новинка уже поставляется заказчикам из финансового сектора по всему миру.

В устройстве применена FPGA Virtex UltraScale+ VU2P. Конфигурация включает 32 трансивера с ультранизкой задержкой, 787 тыс. LUT и 1680 DSP. В состав FPGA входят 256 Мбайт встроенной памяти — 76 Мбайт блочной RAM и 180 Мбайт UltraRAM. Заявленная задержка на уровне трансиверов составляет менее 3 нс.

Карта использует интерфейс PCIe 4.0 x8 (коннектор x16). Заявленный показатель TDP равен 120 Вт; используется пассивное охлаждение. В оснащение входят 16 Гбайт памяти DDR4-2400. Предусмотрены два разъёма QSFP-DD (16​×​10/25G) и два коннектора ARF6.

Источник изображения: AMD

Ускоритель Alveo UL3422 может использоваться в комплексе с платформой разработки Vivado Design Suite. AMD также предоставляет клиентам среду разработки FINN с открытым исходным кодом и поддержкой сообщества, что позволяет интегрировать модели ИИ с низкими задержками в высокопроизводительные торговые системы. FINN использует PyTorch и методы квантования нейронных сетей.

Ускоритель поставляется с набором референсных проектов и тестов производительности. Среди ключевых сфер применения новинки названы торговые операции со сверхнизкими задержками и анализ рисков.

Meta✴ поделилась своими новинками в области аппаратной инфраструктуры и рассказала, каким именно видит будущее открытых ИИ-платформ. В своей презентации Meta✴ рассказала о новой ИИ-платформе, новых дизайнах стоек, включая варианты с повышенной мощностью питания, а также о новинках в области сетевой инфраструктуры.

Источник изображений: Meta✴

В настоящее время компания использует нейросеть Llama 3.1 405B. Контекстное окно у этой LLM достигает 128 тыс. токенов, всего же токенов свыше 15 трлн. Чтобы обучать такие модели, требуются очень серьёзные ресурсы и глубокая оптимизация всего программно-аппаратного стека. В обучении базовой модели Llama 3.1 405B участвовал кластер 16 тыс. ускорителей NVIDIA H100, один из первых такого масштаба. Но уже сейчас для обучения ИИ-моделей Meta✴ использует два кластера, каждый с 24 тыс. ускорителей.

Проекты такого масштаба зависят не только от ускорителей. На передний план выходят проблемы питания, охлаждения и, главное, интерконнекта. В течение нескольких следующих лет Meta✴ ожидает скоростей в районе 1 Тбайт/с на каждый ускоритель. Всё это потребует новой, ещё более плотной архитектуры, которая, как считает Meta✴, должна базироваться на открытых аппаратных стандартах.

Одной из новинок стала платформа Catalina. Это Orv3-стойка, сердцем которой являются гибридные процессоры NVIDIA GB200. Стойка относится к классу HPR (High Power Rack) и рассчитана на 140 КВт. Сейчас Microsoft и Meta✴ ведут работы над модульной и масштабируемой системой питания Mount Diablo. Свой вариант GB200 NVL72 у Microsoft тоже есть. Также Meta✴ обновила ИИ-серверы Grand Teton, впервые представленные в 2022 году. Это по-прежнему монолитные системы, но теперь они поддерживают не только ускорители NVIDIA, но и AMD Instinct MI300X и будущие MI325X.

Интерконнектом будущих платформ станет сеть DSF (Disaggregated Scheduled Fabric). Благодаря переходу на открытые стандарты компания планирует избежать ограничений, связанных с масштабированием, зависимостью от вендоров аппаратных компонентов и плотностью подсистем питания. В основе DSF лежит стандарт OCP-SAI и ОС Meta✴ FBOSS для коммутаторов. Аппаратная часть базируется на стандартном интерфейсе Ethernet/RoCE.

Meta✴ уже разработала и воплотила в металл новые коммутаторы класса 51Т на базе кремния Broadcom и Cisco, а также сетевые адаптеры FBNIC, созданные при поддержке Marvell. FBNIC может иметь до четырёх 100GbE-портов. Используется интерфейс PCIe 5.0, причём могущий работать как четыре отдельных слайса. Новинка соответствует открытому стандарту OCP NIC 3.0 v1.2.0.

Компания Dell Technologies анонсировала интегрированные стоечные масштабируемые системы для экосистемы AI Factory, рассчитанные на задачи НРС и ресурсоёмкие приложения ИИ. В частности, дебютировали решения Integrated Rack 7000 (IR7000), PowerEdge M7725 и PowerEdge XE9712.

Источник изображений: Dell

IR7000 — это высокоплотная 21″ стойка Open Rack Version 3 (Orv3) с поддержкой жидкостного охлаждения. Говорится о совместимости с мощными CPU и GPU с высоким значением TDP. Модификации 44OU и 50OU оснащены салазками, которые шире и выше традиционных: это гарантирует совместимость с несколькими поколениями архитектур процессоров и ИИ-ускорителей. Полки питания в настоящее время поддерживают мощность от 33 кВт до 264 кВт на стойку с последующим увеличением до 480 кВт.

Система Dell PowerEdge M7725 специально спроектирована для вычислений высокой плотности. В основу положены процессоры AMD серии EPYC 9005 (Turin), насчитывающие до 192 вычислительных ядер. Одна стойка IR7000 может вместить 72 серверных узла M7725, каждый из которых оборудован двумя CPU. Таким образом, общее количество вычислительных ядер превышает 27 тыс. на стойку. Возможно развёртывание прямого жидкостного охлаждения (DLC) и воздушного охлаждения. Доступны два IO-слота (PCIe 5.0 x16) в расчёте на узел с поддержкой Ethernet и InfiniBand.

В свою очередь, система Dell PowerEdge XE9712 разработана для обучения больших языковых моделей (LLM) и инференса в реальном времени. Эта новинка использует архитектуру суперускорителя NVIDIA GB200 NVL72. В общей сложности задействованы 72 чипа B200 и 36 процессоров Grace. Утверждается, что такая конфигурация обеспечивает скорость инференса до 30 раз выше по сравнению с системами предыдущего поколения.

Корпорация MiTAC Computing Technology представила серверы и материнские платы, рассчитанные на работу с новейшими процессорами EPYC 9005 (Turin). Дебютировали системы разного уровня, в том числе решения для ИИ-нагрузок и НРС-задач.

В частности, вышел двухсоктеный сервер MiTAC Tyan TN85-B8261 типоразмера 2U, разработанный специально для HPC и ML. Он поддерживает до четырёх двухслотовых GPU-ускорителей, 24 модуля DDR5 RDIMM и восемь SFF-накопителей NVMe U.2 с возможностью горячей замены.

Кроме того, анонсирован односокетный GPU-сервер MiTAC Tyan FT65T-B8050 формата 4U. Есть восемь слотов для модулей DDR5, восемь посадочных мест для SATA-накопителей LFF и два отсека для SFF-устройств NVMe U.2 с возможностью горячей замены. Данная модель допускает установку двух GPU-ускорителей.

Ещё одна новинка — MiTAC G8825Z5: это двухсокетный сервер 8U, поддерживающий ИИ-ускорители AMD Instinct MI325X. Машина может нести на борту до 4 Тбайт памяти DDR5-6000. Доступны восемь посадочных мест для SFF-накопителей U.2 с возможностью горячей замены. Система рассчитана на ресурсоёмкие задачи ИИ и НРС.

Источник изображения: MiTAC

Представлены 2U-серверы MiTAC Tyan TS70-B8056 и TS70A-B8056 для облачных хранилищ. Первый получил 12 фронтальных отсеков для LFF-накопителей и два тыльных отсека для SFF-устройств NVMe U.2. Вторая модель располагает 26 отсеками для накопителей SFF NVMe U.2 с возможностью горячей замены.

Наконец, анонсированы компактный односокетный облачный сервер MiTAC Tyan GC68C-B8056 формата 1U с 24 слотами DDR5 и 12 отсеками для устройств SFF NVMe U.2, а также материнские платы MiTAC Tyan S8050 и MiTAC Tyan S8056.

Компания MSI анонсировала серверы и материнские платы с поддержкой новейших процессоров AMD EPYC Turin. Вышли системы разного уровня, включая решения для ИИ-задач, машинного обучения и HPC. Также получили поддержку Turin и некоторые модели систем, изначально рассчитанных на установку AMD EPYC Genoa

В частности, представлена двухсокетная модель S2301 2U CXL Memory Expansion Server с поддержкой технологии CXL 2.0. Она оснащена восемью разъёмами E3.S 2T для CXL-модулей и восемью слотами E3.S 1T NVMe. Машина предназначена для приложений с интенсивным использованием данных, таких как НРС-нагрузки и резидентные базы данных.

Вышли несколько вычислительных серверов. Так, двухузловая модель CD370-S4051-X2 формата 3U оснащена 12 отсеками PCIe 5.0 x4 U.2 NVMe в расчёте на узел, а двухузловая версия CD270-S4051-X2 стандарта 2U предлагает по шесть таких отсеков на узел. В свою очередь, четырёхузловой вариант CD270-S4051-X4 типоразмера 2U имеет по три отсека PCIe 5.0 x4 U.2 NVMe на узел, а в качестве опции доступно жидкостное охлаждение.

Источник изображения: MSI

Односокетный сервер корпоративного уровня CX271-S4056 формата 2U предлагает 24 слота для модулей оперативной памяти DDR5-5200. Эта система доступна в вариантах с 8 и 24 отсеками для накопителей PCIe 5.0 x4 U.2 NVMe. Кроме того, упомянуты слоты PCIe 5.0 x16 OCP для сетевых адаптеров. Машина подходит для ИИ, виртуализации и облачных приложений в современных ЦОД.

На ресурсоёмкие ИИ-задачи ориентированы односокетные GPU-серверы G4101-01 и G4101-03 с жидкостным охлаждением. Они оснащены 12 слотами DDR5 DIMM и четырьмя слотами PCIe 5.0 тройной ширины с возможностью установки ускорителей, TDP которых достигает 450 Вт. Могут быть задействовать до 12 накопителей PCIe 4.0 U.2 NVMe. Применены блоки питания мощностью 3000 Вт с сертификатом Platinum или Titanium.

Установку процессоров EPYC 9005 также поддерживают корпоративные серверы S2206-05-10G, S2206-06-10G и S1206-02-10G с портами 10G SFP+, материнские платы D4056 DC-MHS M-DNO Type-4 HPM и D4051 DC-MHS M-DNO Type-2 HPM.