Оператор ИИ-облака CoreWeave объявил о запуске инстансов с ускорителями NVIDIA RTX Pro 6000 Blackwell Server Edition для генеративных приложений, рендеринга в реальном времени и работы с большими языковыми моделями (LLM). Утверждается, что это первые общедоступные облачные экземпляры, построенные на базе названных GPU.

Изделия RTX Pro 6000 Blackwell Server Edition на архитектуре Blackwell насчитывают 24 064 ядра CUDA, 752 тензорных ядра пятого поколения и 188 ядер RT четвёртого поколения. В оснащение входят 96 Гбайт памяти GDDR7 с пропускной способностью до 1,6 Тбайт/с.

CoreWeave заявляет, что по сравнению с инстансами на основе NVIDIA L40S новые экземпляры обеспечивают 5,6-кратное повышение производительности при LLM-инференсе, 3,5-кратное увеличение быстродействия на операциях преобразования текста в видео и более чем 2-кратное повышение скорости тонкой настройки ИИ-моделей. Заявленная ИИ-производительность в режиме FP4 достигает 3,8 Пфлопс.

Источник изображения: CoreWeave / NVIDIA

Инстансы CoreWeave с ускорителями NVIDIA RTX Pro 6000 Blackwell Server Edition доступны в конфигурациях, насчитывающих до восьми GPU. Задействованы два процессора Intel Xeon поколения Emerald Rapids, а также DPU NVIDIA BlueField-3. Экземпляры предоставляют свыше 7 Тбайт пространства для хранения данных на основе NVMe SSD.

Говорится о поддержке служб CoreWeave Observability Services, которые отвечают за детальный мониторинг использования ресурсов, а также предоставляют данные о системных ошибках, температуре и пр. Это помогает быстро обнаруживать и устранять проблемы, минимизируя сбои в рабочих процессах. Новые инстансы доступны посредством CoreWeave Kubernetes Service (CKS) и Slurm on Kubernetes (SUNK) в американском регионе CoreWeave US-EAST-04.

HPE представила комплексный набор решений, предназначенных для ускорения создания, внедрения и управления ИИ-фабриками на протяжении всего жизненного цикла ИИ. Эти решения адаптированы для использования практически для всех организаций, независимо от размера или отрасли, говорит компания.

HPE расширила своё портфолио NVIDIA AI Computing by HPE, добавив ускорители NVIDIA Blackwell, включая новые компонуемые решения, оптимизированные для поставщиков услуг, разработчиков моделей и суверенных субъектов. Также было добавлено следующее поколение решений HPE Private Cloud AI — готового решения для ИИ-фабрик на предприятиях. Предлагаемые интегрированные, комплексные решения и услуги для ИИ-фабрик позволяют устранить для клиентов необходимость самостоятельно собирать полный стек ИИ-технологий при создании современного ИИ ЦОД.

В основе портфолио NVIDIA AI Computing by HPE лежит решение HPE Private Cloud AI, представляющее собой полностью интегрированную, готовую ИИ-фабрику. Private Cloud AI обеспечит:

• Поддержку ускорителей Blackwell серверами HPE ProLiant Compute Gen12, которые предоставляют защищённые анклавы для предотвращения несанкционированного доступа, используют постквантовую криптографию и предлагают надёжную цепочку поставок на уровне стойки и сервера.
• Защиту инвестиций и бесшовную масштабируемость от одного поколения ускорителей к другому, включая H200 NVL и новейшие RTX PRO 6000 Server Edition, для поддержки широкого спектра ИИ-нагрузок, включая агентские и физические ИИ-приложения. Новая федеративная архитектура обеспечивает эффективное объединение ресурсов, позволяя всем ИИ-нагрузкам использовать новейшие ускорители и аппаратные ресурсы.
• Управление с физической изоляцией (air-gap) для организаций со строгими требованиями к конфиденциальности данных.
• Многопользовательский доступ, которые позволяет предприятиям разделять ресурсы между командами.
• Участие в новейших проектах NVIDIA AI Blueprint, включая NVIDIA AI-Q Blueprint для создания ИИ-агентов и шаблонов рабочих процессов.
• Участие в новой программе «попробуй и купи», которая позволяет клиентам оценить частное ИИ-облако в сети ЦОД Equinix перед принятием решения о покупке.

Источник изображения: HPE

Новые ИИ-фабрики объединяют инновации и опыт HPE в области ИИ, достижения в области разработки жидкостного охлаждения и ПО HPE Morpheus Enterprise.

• ПО HPE OpsRamp обеспечивает полную наблюдаемость в Private Cloud AI, оно же сертифицировано для NVIDIA Enterprise AI Factory.
• Для крупных клиентов HPE предлагает для системы HPE ProLiant Compute XD, ПО NVIDIA AI Enterprise, технологии воздушного и жидкостного охлаждения, а также полный спектр консультационных и профессиональных услуг.
• Для государств, правительств и госорганизаций предлагаются дополнительные возможности, такие как автономное управление, а также решения и услуги, которые обеспечивают суверенитет данных, технологий и операций.

Источник изображения: HPE

Благодаря совместимости с архитектурой NVIDIA Enterprise AI Factory ИИ-фабрики HPE могут быть развёрнуты с использованием новейших ускорителей NVIDIA, решений Spectrum-X Ethernet, DPU NVIDIA BlueField-3 и ПО NVIDIA AI Enterprise. Портфолио NVIDIA AI Computing by HPE также пополнила система HPE Compute XD690 (поставки начнутся в октябре) на платформе NVIDIA HGX B300. HPE Performance Cluster Manager обеспечивает полностью интегрированное управление системами и расширенный мониторинг инфраструктуры и оповещения в больших, сложных ИИ-средах с масштабированием до тысячи узлов.

Чтобы обеспечить непрерывную подачу готовых к ИИ-нагрузкам неструктурированных данных для ИИ-фабрик и приложений, СХД HPE Alletra Storage MP X10000 будет поддерживать серверы с поддержкой Model Context Protocol (MCP), которая появится во II половине 2025 года. В дополнение X10000 поддерживает эталонный дизайн NVIDIA AI Data Platform и предлагает SDK для оптимизации неструктурированных конвейеров данных для обработки, инференса, обучения и процесса непрерывного приобретения знаний и навыков.

HPE сообщила, что программа Unleash AI пополнилась 26 новыми партнёрами. Также было объявлено, что сотрудничество HPE и Accenture с целью создания агентских ИИ-решений для финансовых сервисов и закупок, получило реализацию в новом совместном предложении для выхода на рынок, которое использует платформу Accenture AI Refinery, созданную на базе NVIDIA AI Enterprise и развёрнутую на HPE Private Cloud AI.

Компания Lenovo анонсировала новые гибридные платформы, оптимизированные для решения ресурсоёмких ИИ-задач в дата-центрах. Представлены системы различного уровня, созданные в партнёрстве с NVIDIA, Cisco и IBM.

В частности, дебютировала модель ThinkSystem SR680a V4 на аппаратной платформе Intel. Полностью характеристики платформы не раскрываются. Известно, что применены процессоры семейства Xeon 6, в которое входят изделия на основе энергоэффективных E-ядер (Sierra Forest) и производительных P-ядер (Granite Rapids). Система несёт на борту восемь ускорителей NVIDIA Blackwell B200, а также восемь карт NVIDIA SuperNIC и NVIDIA BlueField-3 DPU. Утверждается, что по сравнению с серверами предыдущего поколения модель ThinkSystem SR680a V4 обеспечивает семикратный рост вычислительной производительности, тогда как объём памяти увеличился в четыре раза. Скорость инференса при работе с большими языковыми моделями (LLM) поднялась приблизительно в 11 раз.

Lenovo ThinkSystem SR675. Источник изображения: Lenovo.

Кроме того, Lenovo представила ИИ-систему Hybrid AI на платформе IBM watsonx. В основу этого решения положены серверы Lenovo ThinkSystem SR675 (V3), оснащённые системой жидкостного охлаждения Neptune.

Ещё одна система Lenovo Hybrid AI создана в партнёрстве с Cisco: она объединяет коммутаторы Cisco Nexus с технологией NVIDIA Spectrum-X для ускорения развёртывания ИИ-фабрик на предприятиях. Задействован сервер ThinkSystem SR675 V3, который может содержать до восьми ускорителей NVIDIA RTX Pro 6000 Blackwell Server Edition. Говорится о поддержке карт NVIDIA SuperNIC и NVIDIA BlueField-3 DPU. Платформа призвана ускорить переход организаций от ИИ-вычислений на базе CPU к средам на основе GPU.

NVIDIA намерена выпустить новый ИИ-ускоритель для Китая, который будет значительно дешевле недавно запрещённой к продаже в КНР модели H20. По данным источников Reuters, начало массового производства запланировано на июнь. Новинка войдёт в серию Blackwell и будет стоить $6,5–$8 тыс., т.е. намного меньше, чем H20, которые продавались по $10–$12 тыс.

Вероятное название новинки — B40. Ускоритель предположительно получит чип от NVIDIA RTX Pro 6000D, будет использовать память GDDR7 вместо HBM и лишится поддержки NVLink. Кроме того, модель не будет использовать передовую технологию упаковки TSMC CoWoS (Chip-on-Wafer-on-Substrate). Представитель NVIDIA заявил, что компания всё ещё оценивает урезанные варианты ускорители — до того, как компания утвердит новый дизайн продукта и получит одобрение американских регуляторов, она фактически изолирована от китайского рынка объёмом $50 млрд. В TSMC слухи не комментируют.

Китай долго оставался огромным рынком для NVIDIA, на который пришлось 13 % всех продаж за прошлый финансовый год. Уже в третий раз NVIDIA вынуждена ухудшать свои ИИ-ускорители из-за американских санкций, пытающихся замедлить технологическое развитие КНР (ранее пришлось выпустить A800, H800, H20 и др.). Запрет на продажи H20 фактически заставил NVIDIA списать $5,5 млрд и упустить $15 млрд потенциальных продаж. При этом дальнейшее ухудшение характеристик H20 невозможно.

Источник изображения: NVIDIA

Новый ускоритель хотя и намного слабее H20, должен помочь сохранить конкурентоспособность NVIDIA на китайском рынке, несмотря на значительные потери выручки из-за торговых ограничений со стороны США. Основным конкурентом компании является Huawei, выпускающая чипы Ascend. По словам экспертов Oak Capital Partners, производительность китайских ускорителей достигнет показателей ослабленных моделей NVIDIA в течение года-двух, но NVIDIA сохранит преимущество благодаря программной экосистеме CUDA, сопоставимых альтернатив которой у Huawei пока нет.

До 2022 года, т.е до ввода серьёзных экспортных ограничений со стороны США, доля NVIDIA на китайском рынке ускорителей составляла 95 %, а сейчас она упала до 50 % — об этом сообщил глава компании Дженсен Хуанг (Jensen Huang). Он также предупредил об неэффективности санкций и заявил, что продолжение ограничений приведёт к тому, что чипов Huawei будут покупать всё больше, а вместо того, чтобы замедлить развитие ИИ-индустрии Китая, американские власти способствуют её прогрессу.

Новейшие экспортные ограничения в очередной раз коснулись пропускной способности памяти и интерконнекта, этот показатель чрезвычайно важен для ИИ-чипов. По оценкам инвестиционного банка Jefferies новые правила ограничивают пропускную способность на уровне 1,7–1,8 Тбайт/с. H20 обеспечивает 4 Тбайт/с. GF Securities прогнозирует, что GDDR7 позволит получить допустимые 1,7 Тбайт/с. По словам двух источников Reuters, NVIDIA создаёт ещё один чип на архитектуре Blackwell для Китая, производство которого должно начаться в сентябре, но его характеристики пока неизвестны.

Компания Autonomous анонсировала мощную рабочую станцию Brainy, ориентированную на задачи машинного обучения и нагрузки ИИ. Утверждается, что новинка подходит для работы с большими языковыми моделями (LLM), насчитывающими до 70 млрд параметров. При этом пользователи могут добиться значительной экономии средств по сравнению с арендой облачных GPU, говорит компания.

Рабочая станция предлагается в четырёх модификациях — Core, Pro, Pro Max и Ultra. Они несут на борту соответственно два, четыре, шесть и восемь ускорителей NVIDIA GeForce RTX 4090 Ada (16 384 ядра CUDA; 24 Гбайт GDDR6X с 384-бит шиной), а производительность ИИ на операциях FP32 достигает 330 Тфлопс, 661 Тфлопс, 991 Тфлопс и 1,32 Пфлопс.

Младшая модель Brainy Core располагает процессором AMD Ryzen Threadripper 3960X (24C/48T; 3,8–4,5 ГГц), 64 Гбайт системной памяти, одним блоком питания мощностью 1650 Вт, загрузочным SSD вместимостью 1 Тбайт, а также сетевым контроллером 1GbE. Стоит такая версия $9000.

Источник изображений: Autonomous

Ступенью выше располагается модификация Brainy Pro, за которой идёт Brainy Pro Max: они предлагаются по цене $19 000 и $25 000. Обе снабжены чипом Ryzen Threadripper Pro 5955WX (16C/32T; 4,0–4,5 ГГц), 128 Гбайт оперативной памяти, SSD на 1 Тбайт, двухпортовым сетевым адаптером 10GbE, контроллером ВМС и двумя блоками питания мощностью 1650 Вт.

Самая мощная версия рабочей станции — Brainy Ultra — обойдётся в $40 000. Она укомплектована процессором AMD EPYC 9124 Genoa (16C/32C; 3,0–3,7 ГГц), 192 Гбайт ОЗУ, SSD ёмкостью 1 Тбайт, контроллером Aspeed AST 2500, двухпортовым сетевым адаптером 10GbE и четырьмя блоками питания мощностью 2000 Вт каждый. 

При этом все конфигурации не выглядят достаточно сбалансированными. Например, у Pro Max системной памяти меньше, чем VRAM, но хотя бы остаются свободные линии PCIe для подключения накопителей с данными. Кроме того, RTX 4090 не имеет поддержки NVLink Bridge, так что каждая карта работает независимо.

Компания NVIDIA анонсировала ускоритель RTX Pro 6000 Blackwell Server Edition для требовательных приложений ИИ и рендеринга высококачественной графики. Ожидается, что новинка будет востребована среди заказчиков из различных отраслей, включая архитектуру, автомобилестроение, облачные платформы, финансовые услуги, здравоохранение, производство, игры и развлечения, розничную торговлю и пр.

Как отражено в названии, в основу решения положена архитектура Blackwell. Задействован чип GB202: конфигурация включает 24 064 ядра CUDA, 752 тензорных ядра пятого поколения и 188 ядер RT четвёртого поколения. Устройство несёт на борту 96 Гбайт памяти GDDR7 (ECC) с пропускной способностью до 1,6 Тбайт/с.

Ускоритель RTX Pro 6000 Blackwell Server Edition использует интерфейс PCIe 5.0 x16. Энергопотребление может настраиваться в диапазоне от 400 до 600 Вт. Реализована поддержка DisplayPort 2.1 с возможностью вывода изображения в форматах 8K / 240 Гц и 16K / 60 Гц. Аппаратный движок NVIDIA NVENC девятого поколения значительно повышает скорость кодирования видео (упомянута поддержка 4:2:2 H.264 и HEVC). Всего доступно по четыре движка NVENC/NVDEC.

Источник изображения: NVIDIA

По заявлениям NVIDIA, по сравнению с ускорителем предыдущего поколения L40S Ada Lovelace модель RTX PRO 6000 Blackwell Server Edition обеспечивает многократное увеличение производительности в широком спектре рабочих нагрузок. В частности, скорость инференса больших языковых моделей (LLM) повышается в пять раз для приложений агентного ИИ. Геномное секвенирование ускоряется практически в семь раз, а быстродействие в задачах генерации видео на основе текстового описания увеличивается в 3,3 раза. Достигается также двукратный прирост скорости рендеринга и примерно такое же повышение скорости инференса рекомендательных систем.

Ускоритель RTX PRO 6000 Blackwell Server Edition может использоваться в качестве четырёх полностью изолированных экземпляров (MIG) с 24 Гбайт памяти GDDR7 каждый. Это обеспечивает возможность одновременного запуска различных рабочих нагрузок — например, ИИ-задач и обработки графики. Упомянута поддержка TEE.

Lenovo анонсировала сервер ThinkEdge SE100, предназначенный для решения задач ИИ-инференса на периферии. Новинка ориентирована на предприятия в различных отраслях, включая розничную торговлю, производство, телекоммуникации и здравоохранение.

Сервер комплектуется процессором Intel поколения Arrow Lake-H: это может быть чип Core Ultra 7 255H (6P+8E+2LP-E) с частотой до 5,1 ГГц или Core Ultra 5 225H (4P+8E+2LP-E) с частотой до 4,9 ГГц. Поддерживается до 64 Гбайт оперативной памяти DDR5-6400 в виде двух модулей CSO-DIMM (Clocked Small Outline DIMM).

Устройство располагает одним слотом PCIe 4.0 x8 HHHL для ускорителя на базе GPU, например, NVIDIA RTX 2000E ADA или NVIDIA RTX A1000. Система может быть оборудована загрузочным накопителем M.2 2280 вместимостью до 960 Гбайт, а также двумя SSD формата M.2 (NVMe) ёмкостью до 3,84 Тбайт. Присутствуют два сетевых порта 1GbE и выделенный сетевой порт управления 1GbE RJ-45.

Для модели ThinkEdge SE100 предусмотрен широкий выбор вариантов монтажа, включая крепление VESA и на DIN-рейку, установку в стойку и использование в «настольном» режиме. Базовый модуль имеет размеры 53 × 142 × 278 мм, блок расширения — 53 × 214 × 278 мм.

Источник изображений: Lenovo

Во фронтальной части сервера расположены порты USB 3.2 Gen2 Type-A (×2), USB 3.2 Gen2 Type-C, HDMI 2.0 (×2) и RJ-45. Сзади сосредоточены разъёмы USB Type-C (×2), USB 3.2 Gen2 Type-A (×2) и RJ-45 (×3). Диапазон рабочих температур — от +5 до +45 °C. Заявлена совместимость с программными платформами Windows 11 Enterprise, Ubuntu 24.04, RHEL.

По утверждениям Lenovo, сервер ThinkEdge SE100 на 85 % компактнее традиционных систем, ориентированных на ИИ-инференс. При этом обеспечивается «производительность корпоративного уровня». На устройство предоставляется трёхлетняя гарантия.

Компания Graid Technology сообщила о том, что её платформа SupremeRAID SE, предназначенная для формирования высокопроизводительных массивов NVMe RAID, теперь поддерживает работу с ускорителями семейства NVIDIA GeForce RTX 5000.

SupremeRAID — это программно-определяемое решение на базе GPU, предназначенное для обеспечения максимальной производительности SSD. Отмечается, что SupremeRAID SE позволяет формировать массивы RAID на 4–8 накопителях NVMe с высокой отказоустойчивостью, одновременно освобождая ресурсы CPU для других задач.

Платформу SupremeRAID SE можно использовать с такими ускорителями, как GeForce RTX 5090, GeForce RTX 5080, GeForce RTX 5070 Ti, GeForce RTX 5070 и GeForce RTX 5060. Решение ориентировано прежде всего на мощные рабочие станции, предназначенные для приложений ИИ, машинного обучения, 3D-рендеринга, редактирования видеоматериалов высокого разрешения и разработки игр. По заявлениям Graid Technology, программно-определяемый RAID обладает упрощённой настройкой, которая избавлена от сложностей, присущих традиционным аппаратным решениям RAID.

Источник изображения: Graid Technology

В целом, благодаря SupremeRAID SE можно задействовать имеющиеся мощности GPU для формирования высокопроизводительных и высокоустойчивых RAID-конфигураций: поддерживаются режимы RAID 0, 1, 10, 5. Говорится о совместимости с Windows Server 2011/2022 и Windows 11, а также с широким перечнем ОС на ядре Linux, включая AlmaLinux 8.8, CentOS 7.9/8.5, Fedora 40, openSUSE Leap 15.3 (Kernel 5.3), Oracle Linux 7.9/8.7/9.1, RHEL 7.9/8.8 и Ubuntu 24.04.0, а также с более ранними версиями указанных дистрибутивов.