Гендиректор NVIDIA Дженсен Хуанг (Jensen Huang) сообщил в ходе отчёта за II квартал 2026 финансового года, что капзатраты четырёх крупнейших гиперскейлеров (Amazon Web Services, Google, Microsoft и Meta✴ Platforms) составят около $600 млрд в год. По его словам, эта сумма удвоилась всего за два года и является движущей силой текущего развития ИИ-инфраструктуры.

Как отметил ресурс SiliconANGLE, последние квартальные отчёты гиперскейлеров, а также аналитические данные экспертов, освещающих их деятельность, говорят о том, что их совокупный прогноз капитальных затрат гораздо ниже объявленной Хуангом суммы, хотя этот показатель стремительно растёт благодаря спросу на ИИ-технологии. NVIDIA в ответ на просьбу объяснить столь большое расхождение уточнила, что эта сумма отражает общие расходы отрасли на инфраструктуру ЦОД, а не только расходы ведущих поставщиков облачных сервисов. Если говорить о планах по объёмам капзатрат на текущий год (календарный или финансовый), то гиперскейлеры прогнозируют следующее:

• AWS: квартальные капитальные затраты составят $31,4 млрд, а годовые превысят $118 млрд. Большая часть капитальных затрат будет связана с ИИ и облачной инфраструктурой AWS.
• Google (входит в холдинг Alphabet): ожидает значительное увеличение капитальных затрат на 2025 год, с прогнозом до $85 млрд в связи с высоким спросом на облачную и ИИ-инфраструктуру.
• Microsoft: планирует капзатраты на 2025 год около $80 млрд, а в некоторых отчётах аналитиков (включая Jefferies) позднее предполагалось, что в 2026 финансовом году эта цифра достигнет $121 млрд.
• Мета✴: прогноз капитальных затрат на 2025 год составляет от $64 до $72 млрд (некоторые оценки аналитиков предполагают $70 млрд), и ожидает дальнейшего роста в 2026 финансовом году ещё примерно на $30 млрд.

Источник изображения: NVIDIA

Согласно выводам аналитиков (Jefferies, Investing.com) по «большой тройке» с Meta✴ и Oracle прогноз капзатрат на облаке на 2025 год составляет $417 млрд, что на 64 % больше, чем годом ранее, и почти в три раза больше, чем в 2023 году. Налицо существенное расхождение между объявленными Хуангом $600 млрд и данными аналитиков, а также прогнозами самих гиперскейлеров.

Возможные причины расхождения по версии SiliconANGLE:

• Хуанг мог пересчитывать квартальные пики роста в годовой эквивалент и экстраполировать будущие темпы роста, в то время как компании сообщают о запланированных или подтверждённых расходах.
• Возможно, Хуанг знает то, чего не знают аналитики: он может опираться на внутренние данные, основанные на прогнозах по гиперскейлерам, которые, по его словам, они довольно хорошо отслеживают.
• Возможно, глава NVIDIA интерпретирует капитальные затраты американских гиперскейлеров как показатель глобальных расходов на инфраструктуру, потенциально добавляя нераскрытые инвестиции или сопутствующие расходы на расширение цепочки поставок (например, размещение оборудования, модернизацию электропитания и оборудования).
• Это может быть и конкурентный нарратив. Завышая совокупные капитальные затраты, NVIDIA сигнализирует о срочности и масштабе ИИ-гонки — потенциально для укрепления своей лидирующей роли и обоснования беспрецедентных ожиданий доходов.
• Неопределённость охвата: Хуанг может включать в расчёт более широкие капитальные затраты на инфраструктуру, такие как сетевые технологии, логистика, здания и оборудование, не ограничиваясь исключительно расходами на «облака/ИИ/ЦОД», указанными в руководствах гиперскейлеров и расчётах аналитиков.

Названная главой NVIDIA сумма в $600 млрд не подтверждается прогнозами ведущих гиперскейлеров на 2025 год и расчётами аналитиков, которые предполагают, что совокупные капзатраты составят $400–$450 млрд. Разрыв, как пишет SiliconANGLE, обусловлен как неопределённостью масштаба (что именно считается капиталовложениями у гиперскейлеров), так и намерением Хуанга подчеркнуть, что NVIDIA находится в центре ИИ-бума.

NVIDIA известна порой довольно вольным обращением с цифрами и прогнозами. Это касается заявлений производительности платформ без явного указания точности и формата вычислений (так в мгновение ока появились экзафлопсные суперкомпьютеры, которые в более традиционных FP64-расчётах не сильны), учёта количества GPU в узлах (несколько лет компанию не беспокоило, что в состав одного ускорителя входило два GPU-чиплета), или отхода от привычных способов указания пропускной способности интерфейсов (для NVLink суммируется скорость передачи данных в обе стороны).

Годами эксперты в области кибербезопасности уделяли внимание защите критической инфраструктуры в основном от цифровых атак с помощью самых разных систем, не позволявших создать угрозу электросетям. Однако новое исследование, проведённое специалистами из Microsoft, OpenAI и NVIDIA, показывает, что главной угрозой электросетям выступают отнюдь не хакеры, а ИИ.

Исследование «Стабилизация энергоснабжения для обучающих ИИ ЦОД» (Power Stabilization for AI Training Datacenters) выявило интересную тенденцию, связанную с быстрым внедрением ИИ в больших масштабах. В процессе эксплуатации ускорителей есть два основных этапа: вычислительный, когда они активно выполняют сложные математические операции, потребляя много энергии, и коммуникационный, когда они обмениваются данными между собой. Во время перехода от первого этапа ко второму происходит резкий спад энергопотребления, а от второго к первому — его стремительный рост.

В случае с гиперскейлерами скачки могут составлять десятки или сотни мегаватт, что негативно сказывается на состоянии электросетей в целом. Дело не просто в неэффективном использовании ресурсов — речь идёт об угрозе критически важной инфраструктуре. В докладе говорится, что колебания потребления могут совпасть с резонансными частотами ключевых компонентов энергосистемы, включая генераторы и оборудование ЛЭП, что потенциально приводит к дестабилизации сети, повреждению оборудования и масштабным авариям. Другими словами, активность ИИ представляет прямую физическую угрозу для аналоговой инфраструктуры электросетей.

Источник изображения: American Public Power Association/unsplash.com

Для решения этой проблемы предлагаются три основных подхода. Во-первых, во время простоя на ускорителях можно решать второстепенные (или вообще бессмысленные, как делала Meta✴) задачи, держа оборудование на «холостом ходу» без полной остановки вычислений. Метод простой, но не самый лучший — общая энергоэффективность не растёт, снижение производительности при выполнении основной задачи вполне возможно. Во-вторых, можно непосредственно на уровне ИИ-ускорителей задавать минимальный порог энергопотребления, что тоже не способствует энергоэффективности.

Наконец, в-третьих, можно использовать аккумулирующие энергию системы: в моменты низкого потребления они заряжаются, а во время скачка нагрузки отдают накопленную в них энергию вместо того, чтобы резко увеличивать потребление от общей электросети. Подобные системы позволяют избежать скачков и сгладить рост и снижение потребляемой мощности. Так, Google уже давно размещает литий-ионных ячейки непосредственно в стойках. Для стоек GB300 NVL72 NVIDIA дополнила блоки питания буфером, который позволяет смягчить колебания потребления и снизить пиковую нагрузку на сеть до 30 %.

Энергосети давно являются частью критической инфраструктуры, но новые угрозы для них теперь находятся на стыке цифрового и реального мира. Получив неавторизованный доступ к крупному ИИ-кластеру, злоумышленники могут намеренно изменить паттерн энергопотребления так, чтобы навредить материальной инфраструктуре. Другими словами, злоумышленники могут повредить электростанцию или энергосети, даже не приближаясь к ним.

В докладе Microsoft, OpenAI и NVIDIA заинтересованные стороны прямо отмечают, что масштаб ИИ вырос до отметки, на которой цифровая активность ведёт к важным физическим последствиям. Специалистам по кибербезопасности придётся уделять время не только цифровой реальности, но и заняться защитой критически важной инфраструктуры и учитывать последствия разрабатываемых и внедряемых алгоритмов. Примером может служить инцидент, произошедший летом 2024 года в Вирджинии, когда миллисекундный сбой привёл к одномоментному отключению 60 дата-центров мощностью 1,5 ГВт на несколько часов.

Broadcom объявила об интеграции ИИ-сервисов VMware Private AI в платформу VMware Cloud Foundation (VCF) без дополнительных затрат для клиентов. Компании смогут пользоваться ИИ-функциями в рамках подписки на VCF, начиная с I квартала 2026 года. По словам компании, это упростит и ускорит внедрение новых ИИ-сервисов заказчиков. Некоторые эксперты считают, что дальнейшая модернизации VMware и повышение привлекательности пакета VCF для компаний благодаря интеграции частных ИИ-сервисов могут стать важным шагом для сохранения клиентской базы VMware.

Компании получат множество преимуществ: от расширенного планирования инфраструктуры и балансировки нагрузки, предоставляемых с помощью распределенного планировщика ресурсов (DRS), до схем автоматизации, позволяющих развёртывать сложные ИИ-сервисы за считанные минуты, используя оптимизированные драйверы устройств, ядра для конкретных ускорителей и многое другое, обещает Broadcom.

VMware Private AI Services помогут компаниям развёртывать и управлять ИИ-приложениями в современной частной облачной инфраструктуре, сохраняя конфиденциальность и безопасность данных. ИИ-сервисы включают среду выполнения моделей, хранилище моделей, мониторинг ускорителей, службу индексации и поиска данных, векторную базу данных, шлюз API и конструктор ИИ-агентов.

Источник изображения: Broadcom

Целью проекта является создание более интегрированного, безопасного и удобного для разработчиков решения, которое будет выглядеть и работать как публичное облако с точки зрения получения услуг, безопасности и масштабируемости. Это означает большую автоматизацию, больше API и лучшую прозрачность производительности и затрат, отметил ресурс SiliconANGLE. Разработчикам будет помогать генеративный ИИ-помощник VCF Intelligent Assist. Он поможет диагностировать и решить проблемы инфраструктуры, используя базу знаний Broadcom. В дальнейшем будет добавлена функция автоматического исправления ошибок.

Broadcom сообщила, что в ближайшее время VCF 9.0 получит поддержку протокола Model Context Protocol (MCP), позволяющего ИИ-агентам подключаться к внешним источникам данных и инструментам и использовать их для совместной работы с другими агентами. Также платформа будет поддерживать функцию Multi-accelerator Model Runtime, которая обеспечивает гибкое развёртывание ИИ-моделей на различном оборудовании, включая ускорители AMD и NVIDIA. Кроме того, клиенты получат многопользовательский доступ к моделям (Multi-tenant Models-as-a-service), что поможет снизить затраты за счёт безопасного доступа арендаторов или отдельных подразделений к общим ИИ-моделям.

Broadcom добавила в платформу VCF поддержку оборудования и ПО NVIDIA, в том числе систем Blackwell, включая RTX Pro 6000, и адаптеров ConnectX-7. Также Broadcom заявила о сотрудничестве с AMD, что позволит организациям использовать VCF с ускорителями AMD Instinct серии MI350 и ПО ROCm. Заодно Broadcom объявила о расширенном сотрудничестве с Canonical, благодаря которому клиенты смогут использовать Ubuntu в своих частных облаках с полной корпоративной поддержкой, включая ускоренное управление патчами и повышенную кибербезопасность.

NVIDIA призвала Вашингтон скорее одобрить продажу ускорителей Blackwell в КНР. Призыв прозвучал в ходе финансового отчёта компании за II квартал 2025 года, сообщает The Register. Как говорят в компании, её продукты разрабатываются и продаются для коммерческого использования, и каждая продажа принесёт выгоду американской экономике. Если компании дадут возможность конкурировать по всему миру, её ИИ-стек станет повсеместным стандартом.

По мнению главы NVIDIA Дженсена Хуанга (Jensen Huang), только в этом году Китай мог бы обеспечить компании рынок объёмом $50 млрд, если бы она могла удовлетворить спрос конкурентоспособными продуктами. отсутствии H20 китайские компании переходят на подержанные ускорители NVIDIA A100/H100. При этом весьма вероятно, что к слабым моделям покупатели возвращаться не захотят вовсе.

Сейчас NVIDIA готовит для Китая более производительный ИИ-ускоритель на архитектуре Blackwell и ожидает разрешение Вашингтона на выдачу экспортных лицензий. Президент США уже давал понять, что он открыт для этой идеи, а Хуанг критиковал запрет на продажи, утверждая, что это только усилит конкурентоспособность Китая. В

Источник изображения: NVIDIA

Тем временем NVIDIA ожидает потери времени и денег из-за затормозившихся продаж ослабленного ускорителя H20 в Поднебесной. Кроме того, в компании отмечают, что власти объявили о 15-% «налоге» на продажи ускорителей в КНР, но реальные правовые механизмы для регулирования этого процесса пока отсутствуют.

По данным компании, если Вашингтон всё-таки даст «добро», NVIDIA могла бы увеличить выручку ещё на $2–$5 млрд — помимо $54 млрд, которые компания, вероятно, получит в III квартале. Хотя NVIDIA всё ещё не может продать запас H20 в Китае, компании удалось найти другого покупателя, на которого ограничения не распространяются. NVIDIA продала ему соответствующих ускорителей на $650 млн, высвободив благодаря сделке «зарезервированные» $180 млн.

Китайская ИИ-индустрия постепенно переходит на восстановленные или подержанные ИИ-ускорители NVIDIA A100 и H100 после того, как очередные экспортные ограничения на NVIDIA H20 заставили компании искать альтернативы этому продукту. Искусственно ослабленный ускоритель H20 должен был сохранить присутствие NVIDIA на китайском рынке, но чип фактически «оказался на обочине» даже после того, как на его продажи вновь дали зелёный свет после временного запрета — китайские регуляторы поставили под сомнение его безопасность, сообщает Tom’s Hardware со ссылкой на Digitimes.

Всё это привело к стремительному росту спроса на старые модели A100 и H100, китайские компании проводят некую «реконфигурацию» таких ускорителей для использования в недорогих, но высокопроизводительных системах инференса. Последний требует значительно меньше ресурсов, чем обучение ИИ-моделей, рабочие нагрузки могут эффективно выполняться на относительно слабом оборудовании.

Именно поэтому даже A100 с 80 Гбайт HBM2e (2 Тбайт/с), представленный ещё в 2020 году, в некоторых случаях остаётся вполне востребованным. Хотя архитектура Ampere уступает Hopper по пиковой производительности, она всё ещё эффективна для инференса благодаря относительно большому объёму памяти и развитой экосистеме ПО CUDA. Для чат-ботов и рекомендательных систем экономически эффективно использовать системы без самых современных чипов.

Представленные в 2022 году H100 значительно производительнее A100 в задачах, связанных с обучением. В то же время H20 изначально был оптимизирован для менее ресурсоёмкого инференса, но его возможности урезали так сильно, что производительность в сравнении с H100 у этой модели ниже в 3–7 раз, а в задачах, связанных с вычислениями FP64, он медленнее более чем в 30 раз. Другими словами, даже A100 всё ещё могут быть привлекательнее для китайских покупателей, чем новые H20.

Источник изображения: NVIDIA

Поскольку пока никому не удалось создать что-то сопоставимое с программной экосистемой NVIDIA CUDA, старые GPU вполне востребованы. Тем более что оборудование для инференса менее требовательно во всех отношениях, а китайские ЦОД, по-видимому, не испытывают проблем с энергий и готовы платит за восстановленную устаревшую электронику, даже с пониженной надёжностью.

В результате NVIDIA оказалась в странном положении. Компания в своё время списала $5,5 млрд из-за нераспроданных запасов H20 — когда в США решили полностью запретить их поставки в Китай. После снятия запрета компания резко нарастила выпуск H20, но теперь столкнулась уже с нежеланием властей КНР видеть эти чипы в стране. Тем не менее, её ускорители по-прежнему являются одним из главных катализаторов бума ИИ в Китае. Другими словами, чипы компании по-прежнему доминируют на рынке Поднебесной, но активность на теневых рынках может снизить выгоду от бизнеса с Китаем. Впрочем, уже появилась информация о разработке нового ускорителя на основе современной архитектуры Blackwell — хотя и тоже ослабленного.

NVIDIA сообщила финансовые результаты за II квартал 2026 финансового года, завершившийся 27 июля 2025 года. Прибыль и выручка компании превзошли ожидания аналитиков. Также было заявлено, что рост продаж в III квартале сохранится на уровне выше 50 %, что стало для Уолл-стрит сигналом о том, что спрос на ИИ-инфраструктуру не будет снижаться, пишет ресурс CNBC.

Выручка составила $46,74 млрд, что на 6 % больше, чем в предыдущем квартале, и на 56 % больше, чем годом ранее, а также больше прогноза аналитиков, опрошенных LSEG, в размере $46,06 млрд. Скорректированная чистая прибыль (Non-GAAP) составила $25,78 млрд или $1,05 на разводнённую акцию, что выше консенсус-прогноза аналитиков, по данным от LSEG, в размере $1,01 на разводнённую акцию.

Несмотря на достигнутые результаты, акции компании упали в ходе расширенных торгов на 2,3 %, поскольку выручка от продуктов для ЦОД второй квартал подряд оказалась ниже прогнозов, составив $41,1 млрд (рост год к году на 56 %) при прогнозе StreetAccount в $41,34 млрд. Как полагает ресурс The Guardian, это также свидетельствует о том, что опасения инвесторов по поводу пузыря ИИ и последствий торговых войн Дональда Трампа (Donald Trump) не утихли.

Рост выручки NVIDIA год к году превышает 50 % уже девять кварталов подряд, начиная с середины 2023 года, когда начался бум генеративного ИИ. Однако II квартал был отмечен для NVIDIA самым слабым ростом за этот период. NVIDIA также значительно увеличила чистую прибыль по сравнению с прошлым годом — до $26,42 млрд или $1,08 на разводнённую акцию, что на 59 % больше, чем за аналогичный период прошлого года.

В сегменте продуктов для ЦОД выручка от поставки решений для вычислений выросла на 50 % год к году до $33,84 млрд, а выручка от продаж сетевого оборудования выросла за квартал на 98 % до $7,25 млрд. Более половины выручки в этом сегменте принесли крупные клиенты. Выручка от решений с архитектурой Blackwell увеличилась год к году на 17 % до $27 млрд.

Источник изображения: NVIDIA

В прошедшем квартале продажи H20 китайским клиентам не осуществлялись. NVIDIA реализовала из ранее зарезервированных запасов H20 на сумму $180 млн клиентам за пределами Китая. Финансовый директор Колетт Кресс (Colette Kress) заявила, что NVIDIA может получить от $2 до $5 млрд выручки от продажи H20 в Китай в течение квартала, если позволит геополитическая обстановка. По её словам, некоторые компании выразили заинтересованность в приобретении H20, и первая группа компаний уже получила лицензии на его покупку.

Гендиректор NVIDIA Дженсен Хуанг (Jensen Huang) подчеркнул важность для компании китайского рынка, продажи на котором, по его словам, могут составить до $50 млрд в этом году. «Мы обсуждаем с администрацией важность того, чтобы американские компании имели возможность работать на китайском рынке», — сказал Хуанг. Он также заявил, что помимо одобрения продаж H20 в Китае компаниям, не подпадающим под санкции, у NVIDIA есть потенциальная возможность в конечном итоге продавать в этой стране версию ускорителя на архитектуре Blackwell.

Напомним, что американским компаниям было разрешено продавать чипы в Китай при условии уплаты 15 % экспортной пошлины в госбюджет. Предложенную правительством схему юристы назвали неконституционным злоупотреблением властью. Колетт Кресс дала понять, что отсутствие поставок в Китай в минувшем квартале был вызвано неопределённостью этой схемы, которая официально не закреплена в федеральном законодательстве. «Хотя некоторые наши китайские клиенты получили лицензии за последние несколько недель, — сказала Кресс, — мы не отгружали ни одного ускорителя H20 по этим лицензиям».

Источник изображения: NVIDIA

Что касается других направлений деятельности NVIDIA, то выручка от игрового бизнеса в отчётном квартале выросла на 49 % по сравнению с прошлым годом до $4,29 млрд. Автомобильное и робототехническое подразделение компании увеличило продажи год к году на 69 % до $586 млн. В сегменте профессиональной визуализации продажи выросли на 32 % до $601 млн.

NVIDIA прогнозирует выручку в текущем квартале в размере $54 млрд ± 2 %. Компания уточнила, что её прогноз не учитывает поставки H20 в Китай. По данным LSEG, аналитики ожидают выручку в финансовом III квартале в размере $53,1 млрд. Хуанг заявил, что компания ожидает, что к концу десятилетия расходы на ИИ-инфраструктуру составят от $3 до $4 трлн, пишет TechCrunch.

ASUS Cloud в партнёрстве с Taiwan AI Cloud (Taiwan Web Service Corp) и Национальным центром высокопроизводительных вычислений Тайваня (National Center for High-performance Computing, NCHC) в Тайнане (Тайвань) построит суперкомпьютер на ускорителях NVIDIA. Об этом сообщил гендиректор ASUS Cloud и Taiwan AI Cloud Питер Ву (Peter Wu, на фото ниже) в интервью газете South China Morning Post (SCMP).

Питер Ву рассказал, что суперкомпьютер с начальной производительностью 80 Пфлопс (точность не уточняется) будет работать на 1700 ускорителях NVIDIA H200. Его запуск запланирован на декабрь, а со временем производительность новой системы вырастет до 250 Пфлопс. Ранее сообщалось, что NVIDIA также поставит два суперускорителя GB200 NVL72 и узлы HGX B300 для данной машины.

По словам Ву, после запуска суперкомпьютера общая вычислительную мощность HPC-систем Тайваня вырастет минимум на 50 %. В феврале 2025 года Национальный совет по науке и технологиям Тайваня (NSTC) объявил о планах по увеличению общей вычислительной мощности систем страны примерно до 1200 Пфлопс к 2029 году с имеющихся 160 Пфлопс.

Источник изображения: ASUS

Как отметил DataCenter Dynamics, ASUS ранее сотрудничала с NVIDIA в развёртывании суперкомпьютеров на Тайване, включая 9-Плфопс машину Taiwania 2. В 2022 году ASUS и NVIDIA построили на Тайване суперкомпьютер для медицинских исследований. Taiwan AI Cloud уже реализовала аналогичные нынешнему проекты по созданию ИИ-инфраструктуры в других странах. Среди них — ЦОД в Сингапуре, а также объект во Вьетнаме с 200 ускорителями NVIDIA, который строят для государственного оператора Viettel. Этот проект стартовал в начале 2025 года после того, как правительство США одобрило поставку чипов NVIDIA.

Ву отметил рост популярности агентного ИИ. Министерство цифровых технологий острова (MODA) «рекомендовало нам предоставить открытую архитектуру с фреймворком агентного ИИ», чтобы помочь местным компаниям использовать или модернизировать свои существующие приложения, сказал он. Говоря о материковом Китае, Питер Ву заявил, что компании будет «непросто» реализовывать там аналогичные проекты «из-за ситуации с поставками GPU».

Китайский подход, заключающийся в «стекировании и кластеризации» малопроизводительных чипов для достижения производительности, аналогичной системам с передовыми ИИ-ускорителями, может быть осуществим с точки зрения инференса. Ву отметил, что запуск DeepSeek «рассуждающей» модели R1 в январе спровоцировал рост спроса на инференс, поскольку эта модель превосходно справляется с такими задачами.

«Если рабочая нагрузка аналогична [инференсу], будет легче внедрить альтернативную технологическую схему с существующими [чипами]», — сказал Ву, добавив, что разработчики «могут столкнуться с проблемами в выборе GPU», если проект предполагает обучение или тонкую настройку ИИ-систем. Говоря о будущем, Ву сообщил, что ожидает дальнейшего развития трёх сегментов ИИ в будущем: вычислительной геномики, квантовых вычислений и так называемых цифровых двойников. «Приложение-убийца [для цифровых двойников] может появиться в сфере ухода за пожилыми людьми, помогая им получать лекарства, еду или принимать душ», — прогнозирует Ву.

Компания Advantech анонсировала компьютер небольшого форм-фактора MIC-743, предназначенный для решения ИИ-задач на периферии. Устройство, в частности, может использоваться для работы с большими языковыми моделями (LLM) и визуально-языковыми моделями (VLM).

В основу новинки положена аппаратная платформа NVIDIA Jetson Thor с вычислительным модулем Jetson T5000. Он содержит CPU с 14 ядрами Arm Neoverse-V3AE с максимальной тактовой частотой 2,6 ГГц и 2560-ядерный GPU на архитектуре Blackwell с частотой до 1,57 ГГц (96 тензорных ядер пятого поколения). Объём памяти LPDDR5X составляет 128 Гбайт. ИИ-производительность достигает 2070 Тфлопс (FP4 Sparse).

Источник изображения: Advantech

Компьютер может быть оснащён SSD формата M.2 2280 с интерфейсом PCIe x4 (NVMe). Есть слоты M.2 2230 E-Key (PCIe x1 и USB 2.0) для адаптера Wi-Fi и M.2 3052/3042 B-Key (USB 3.0 и USB 2.0) для сотового модема (имеется слот Nano SIM). Предусмотрены сетевые порты 5GbE RJ45 и QSFP28 (4 × 25 GbE), интерфейс HDMI с поддержкой разрешения до 3840 × 2160 при частоте обновления 60 Гц, четыре порта USB 3.2 Gen2, аудиогнёзда на 3,5 мм.

MIC-743 имеет размеры 195 × 200 × 71,5 мм и весит примерно 2 кг. Диапазон рабочих температур простирается от -10 до +35 °C. Применяется программное обеспечение NVIDIA JetPack 7.0. Для новинки заявлена бесшовная интеграция с различными датчиками, камерами и периферийными устройствами для быстрого создания комплексных решений на базе ИИ. Устройство подходит для применения на промышленных предприятиях, в исследовательских лабораториях, центрах разработки и пр.

NVIDIA поделилась подробностями об ускорителе Blackwell Ultra, обновлённом и улучшенном варианте NVIDIA Blackwell, представленном более года назад. Blackwell Ultra по-прежнему состоит из двух кристаллов с максимальными размерами в пределах фотолитографической маски, соединённых с помощью интерфейса NVIDIA High-Bandwidth Interface (NV-HBI) с пропускной способностью 10 Тбайт/с. Чип имеет 208 млрд транзисторов, изготовленных по кастомному техпроцессу TSMC 4NP — в 2,6 раза больше, чем NVIDIA Hopper — и с точки зрения ПО выглядит как один ускоритель.

Чип имеет 160 потоковых мультипроцессоров (SM), включающих 640 тензорных ядер (Tensor Core) пятого поколения общей с производительностью 15 Пфлопс в вычислениях в фирменном 4-бит формате NVFP4 (без разреженности) и общий L2-кеш с полностью когерентным доступом к памяти. SM объединены в восемь кластеров GPC (Graphics Processing Clusters).

Источник изображений: NVIDIA

Каждый SM представляет собой автономный вычислительный блок, содержащий:

• 128 ядер CUDA для операций FP32/INT32/FP16/BF16 и других точных вычислений.
• 4 тензорных ядра пятого поколения с движком NVIDIA Transformer Engine второго поколения, оптимизированным для вычислений FP8, FP6 и NVFP4.
• 256 Кбайт памяти Tensor Memory (TMEM) для WARP-синхронного хранения промежуточных результатов, что обеспечивает более эффективное повторное использование данных и сокращение трафика внекристальной памяти.
• Специальные функциональные блоки (SFU) для трансцендентной математики и специальных операций, используемых в вычислительных ядрах (kernel).

Когда NVIDIA впервые представила тензорные ядра в архитектуре Volta, они фундаментально изменили возможности ускорителей для глубокого обучения, расширяя с каждым новым поколением свои возможности, точность и параллелизм, говорит NVIDIA. Blackwell (Ultra) выводят эту технологию на новый уровень благодаря тензорным ядрам пятого поколения и Transformer Engine второго поколения, обеспечивая более высокую пропускную способность и меньшую задержку как для обычных, так и для разреженных ИИ-вычислений.

Новые тензорные ядра тесно интегрированы с 256 Кбайт тензорной памяти (TMEM), оптимизированной для хранения данных близко к вычислительным блокам. Они также поддерживают двухпотоковые блочные MMA-операции, где парные SM взаимодействуют в одной операции MMA, деля операнды и сокращая избыточный трафик памяти. Результатом является более высокая стабильная пропускная способность, более высокая эффективность использования памяти, более быстрое обучение и более эффективный инференс с малыми пакетами данных и высокой интерактивностью.

Не менее важным для производительности стало внедрение NVIDIA NVFP4, нового 4-бит формата с плавающей запятой, который сочетает микроблочное масштабирование FP8 (E4M3), применяемое к блокам по 16 значений, и масштабирование FP32 на тензорном уровне, что обеспечивает аппаратное ускорение квантования с заметно более низким уровнем ошибок, чем стандартный FP4. При этом точность практически такая же как FP8 (часто с разницей менее ~1 %), но потребление памяти снижается в 1,8 раза (и до ~3,5 раза по сравнению с FP16). При этом от развития FP64 компания практически отказалась.

NVFP4 обеспечивает оптимальный баланс точности, эффективности и производительности для ИИ-инференса, заявляет NVIDIA. «Плотные» NVFP4-вычисления в Blackwell Ultra обеспечивают существенный прирост производительности по сравнению с оригинальным ускорителем Blackwell — с 10 Пфлопс до 15 Пфлопс в NVFP4, то есть в 1,5 раза, или в 7,5 раза по сравнению с NVIDIA Hopper. Это ускорение напрямую влияет на масштаб инференса, обеспечивая большее количество параллельных экземпляров моделей, более быстрое время отклика и снижение затрат на каждый сгенерированный токен.

В Blackwell Ultra пропускная способность SFU для ключевых инструкций, используемых в слое внимания (attention layer), удвоена, что обеспечивает до двух раз более быстрые вычисления по сравнению с оригинальными Blackwell. Это улучшение ускоряет внимание как на коротких, так и на длинных последовательностях, но особенно эффективно для рассуждающих моделей с большими контекстными окнами, где softmax-этап, когда определяется наиболее вероятный токен для дальнейшего решения задачи, может стать узким местом по задержке.

Таким образом, ускорение работы механизма внимания в Blackwell Ultra уменьшает время до выдачи первого токена в интерактивных приложениях, cнижает вычислительные затраты за счёт сокращения общего количества циклов обработки на запрос и повышает энергоэффективность — больше последовательностей на Вт. В сочетании с NVFP4 новые ускорители позволяют добиться повышения качества многоступенчатых рассуждений и многомодального инференса.

Blackwell Ultra получили и улучшенную подсистему памяти — 288 Гбайт HBM3e, наполовину больше, чем в Blackwell (192 Гбайт). Всего используются восемь HBM-стеков и 16 × 512-бит контроллеров (общая разрядность 8192 бит). Пропускная способность осталась прежней — 8 Тбайт/с. Столь большой объём быстрой памяти позволяет целиком разместить в ней крупные модели (300+ млрд параметров), реже обращаться к системной памяти или накопителям, увеличить длину контекста и размер KV-кеша.

С точки зрения внешних коммуникаций изменений мало. Blackwell Ultra всё так же полагается в первую очередь на интерконнект NVLink 5 с пропускной способностью 1,8 Тбайт/с (по 900 Гбайт/в каждую сторонц) и возможностью объединения в рамках одного домена до 576 GPU в неблокируемой вычислительной фабрике. Хост-интерфейсы представлены PCIe 6.0 x16 (по 128 Гбайт/с в каждом направлении) и NVLink-C2C с когерентностью памяти (900 Гбайт/с).

Blackwell Ultra позволяет создавать более крупные модели, чем Blackwell, и повышать пропускную способность без ущерба для эффективности. Ускоренное выполнение softmax дополнительно повышает скорость реального инференса, увеличивая количество токенов в секунду на пользователя (TPS/пользователь) и одновременно улучшая количество токенов в секунду на МВт (TPS/МВт) в ЦОД.

Архитектурные инновации улучшают экономичность ИИ-инференса и переосмысливают возможности проектирования ИИ-фабрик, обеспечивая больше экземпляров моделей, более быстрые отклики и более высокую производительность на 1 МВт по сравнению с любой предыдущей платформой NVIDIA, говорит компания.

Суперчип NVIDIA Grace Blackwell Ultra объединяет один Arm-процессор Grace с двумя ускорителями Blackwell Ultra через NVLink‑C2C, обеспечивая NVFP4-производительность c разреженностью до 40 Пфлопс (до 30 Пфлопс без разреженности), а также унифицированную память объёмом 1 Тбайт, сочетающую HBM3E и LPDDR5X. Сетевые адаптеры ConnectX-8 SuperNIC обеспечивают высокоскоростное 800G-подключение.

Суперчип NVIDIA Grace Blackwell Ultra является базовым вычислительным компонентом стоечной системы GB300 NVL72, которая объединяет посредством NVLink 5 сразу 36 суперчипов Grace Blackwell (1,1 Эфлопс в FP4 без разреженности). Системы GB300 также выводят управление питанием на новый уровень. Они используют конфигурации с несколькими полками питания для обслуживания и сглаживания синхронных изменений нагрузки ускорителей.

Как отметила компания, NVIDIA Blackwell Ultra закладывает основу для создания ИИ-фабрик, позволяя обучать и развёртывать интеллектуальные системы с беспрецедентной масштабируемостью и эффективностью. Благодаря революционным инновациям в области интеграции двух кристаллов, ускорению NVFP4, огромному объёму памяти и передовой технологии интерконнекта, Blackwell Ultra позволяет создавать ИИ-приложения, которые ранее было невозможно создать с вычислительной точки зрения.

NVIDIA анонсировала Spectrum-XGS Ethernet, масштабируемую технологию для объединения распределённых ЦОД в унифицированные гигантские ИИ-фабрики. Похожее решения не так давно предложила и Broadcom, анонсировав коммутаторы Jericho4.

На фоне роста спроса на обработку ИИ-нагрузок отдельные ЦОД достигают пределов допустимой мощности, но выход за пределы одного объекта связан с трудностями из-за ограничений существующей сетевой инфраструктуры с высокой задержкой, джиттером и непрогнозируемой производительностью.

NVIDIA позиционирует Spectrum-XGS Ethernet как революционное дополнение к платформе NVIDIA Spectrum-X Ethernet, которое устраняет эти ограничения. Решение служит третьим столпом ИИ-вычислений, выходящим за рамки вертикального и горизонтального масштабирования, и предназначено для повышения производительности и масштабируемости Spectrum-X Ethernet для объединения нескольких распределённых ЦОД в массивы ИИ-фабрик, способных обрабатывать ИИ-нагрузки в гигантских масштабах.

Источник изображения: NVIDIA

«Индустриальная революция в области ИИ уже началась, и гигантские ИИ-фабрики являются важнейшей инфраструктурой, — заявил генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang) — С помощью NVIDIA Spectrum-XGS Ethernet мы расширяем возможности по масштабированию, объединяя ЦОД в городах, странах и континентах в огромные ИИ-суперфабрики».

Spectrum-XGS Ethernet дополняет платформу Spectrum-X алгоритмами, которые динамически адаптируют сеть с учётом расстояния между объектами ЦОД. Решение опирается на усовершенствованный автоматический контроль перегрузки, точное управление задержками и сквозную телеметрию. По словам NVIDIA, Spectrum-XGS Ethernet практически удваивает производительность работы библиотеки коллективных коммуникаций NVIDIA NCCL, ускоряя взаимодействие множества ускорителей и множества узлов и обеспечивая предсказуемую производительность в географически распределённых ИИ-кластерах.

В результате несколько ЦОД будут работать как единая ИИ-фабрика, полностью оптимизированная для подключения на больших расстояниях. CoreWeave одной из первых внедрит Spectrum-XGS Ethernet в свои ЦОД. Сама NVIDIA не новичок в распределённых ИИ-вычислениях — её собственные кластеры для внутренних нужд размещались в нескольких дата-центрах США.