Компания NVIDIA, по сообщению ресурса The Information, вынуждена повременить с началом массового выпуска ИИ-ускорителей следующего поколения на архитектуре Blackwell, сохранив высокие темпы производства Hopper. Проблема, как утверждается, связана с технологией упаковки Chip on Wafer on Substrate (CoWoS) от TSMC.

Отмечается, что NVIDIA недавно проинформировала Microsoft о задержках, затрагивающих наиболее продвинутые решения семейства Blackwell. Речь, в частности, идёт об изделиях Blackwell B200. Серийное производство этих ускорителей может быть отложено как минимум на три месяца — в лучшем случае до I квартала 2025 года. Это может повлиять на планы Microsoft, Meta✴ и других операторов дата-центров по расширению мощностей для задач ИИ и НРС.

По данным исследовательской фирмы SemiAnalysis, задержка связана с физическим дизайном изделий Blackwell. Это первые массовые ускорители, в которых используется технология упаковки TSMC CoWoS-L. Это сложная и высокоточная методика, предусматривающая применение органического интерпозера — лимит возможностей технологии предыдущего поколения CoWoS-S был достигнут в AMD Instinct MI300X. Кремниевый интерпорзер, подходящий для B200, оказался бы слишком хрупок. Однако органический интерпозер имеет не лучшие электрические характеристики, поэтому для связи используются кремниевые мостики.

В используемых материалах как раз и кроется основная проблема — из-за разности коэффициента теплового расширения различных компонентов появляются изгибы, которые разрушают контакты и сами чиплеты. При этом точность и аккуратность соединений крайне важна для работы внутреннего интерконнекта NV-HBI, который объединяет два вычислительных тайла на скорости 10 Тбайт/с. Поэтому сейчас NVIDIA с TSMC заняты переработкой мостиков и, по слухам, нескольких слоёв металлизации самих тайлов.

Вместе с тем у TSMC наблюдается нехватка мощностей по упаковке CoWoS. Компания в течение последних двух лет наращивала мощности CoWoS-S, в основном для удовлетворения потребностей NVIDIA, но теперь последняя переводит свои продукты на CoWoS-L. Поэтому TSMC строит фабрику AP6 под новую технологию упаковки, а также переведёт уже имеющиеся мощности AP3 на CoWoS-L. При этом конкуренты TSMC не могут и вряд ли смогут в ближайшее время предоставить хоть какую-то альтернативную технологию упаковки, которая подойдёт NVIDIA.

Таким образом, как сообщается, NVIDIA предстоит определиться с тем, как использовать доступные производственные мощности TSMC. По мнению SemiAnalysis, компания почти полностью сосредоточена на стоечных суперускорителях GB200 NVL36/72, которые достанутся гиперскейлерам и небольшому числу других игроков, тогда как HGX-решения B100 и B200 «сейчас фактически отменяются», хотя малые партии последних всё же должны попасть на рынок. Однако у NVIDIA есть и запасной план.

План заключается в выпуске упрощённых монолитных чипов B200A на базе одного кристалла B102, который также станет основой для ускорителя B20, ориентированного на Китай. B200A получит всего четыре стека HBM3e (144 Гбайт, 4 Тбайт/с), а его TDP составит 700 или 1000 Вт. Важным преимуществом в данном случае является возможность использования упаковки CoWoS-S. Чипы B200A как раз и попадут в массовые HGX-системы вместо изначально планировавшихся B100/B200.

На смену B200A придут B200A Ultra, у которых производительность повысится, но вот апгрейда памяти не будет. Они тоже попадут в HGX-платформы, но главное не это. На их основе NVIDIA предложит компромиссные суперускорители MGX GB200A Ultra NVL36. Они получат восемь 2U-узлов, в каждом из которых будет по одному процессору Grace и четыре 700-Вт B200A Ultra. Ускорители по-прежнему будут полноценно объединены шиной NVLink5 (одночиповые 1U-коммутаторы), но вот внутри узла всё общение с CPU будет завязано на PCIe-коммутаторы в двух адаптерах ConnectX-8.

Главным преимуществом GX GB200A Ultra NVL36 станет воздушное охлаждение из-за относительно невысокой мощности — всего 40 кВт на стойку. Это немало, но всё равно позволит разместить новинки во многих ЦОД без их кардинального переоборудования пусть и ценой потери плотности размещения (например, пропуская ряды). По мнению SemiAnalysis, эти суперускорители в случае нехватки «полноценных» GB200 NVL72/36 будут покупать и гиперскейлеры.

Компания Supermicro, по сообщению ресурса The Register, планирует развернуть дополнительные мощности по выпуску оборудования с жидкостным охлаждением для дата-центров. Спрос на такие решения растёт на фоне стремительного развития ИИ и платформ НРС.

Не так давно глава Supermicro Чарльз Лян (Charles Liang) заявил, что использование СЖО в ЦОД вырастет на тысячи процентов в ближайшие два года. Приблизительно 15 % стоек, отгруженных компанией в 2024 году, будут оснащены СЖО, а в 2025-м этот показатель может достичь 30 %.

На этом фоне Supermicro расширяет производство оборудования с СЖО в Кремниевой долине. В частности, планируется открытие трёх новых кампусов. Они станут частью новой экосистемы СЖО, нацеленной на удовлетворение потребностей клиентов по всему миру. Предприятия сосредоточат усилия на комплексных готовых решениях с жидкостным охлаждением, включая отдельные системы и стойки.

Источник изображения: Supermicro

«Многие операторы дата-центров присматриваются к энергосберегающим решениям с прямым жидкостным охлаждением (DLC). Supermicro разрабатывает модульные платформы с СЖО для фабрик ИИ и задач НРС», — отмечает Лян.

Говорится, что дополнительные мощности будут развёрнуты в Сан-Хосе (Калифорния, США) и в Азии. В частности, в Сан-Хосе Supermicro ранее в этом году приобрела около 8 га земли и различные объекты, которые будут использоваться для производства, сборки и складирования продукции. Кроме того, Supermicro арендует в этом регионе многофункциональные производственные и складские площади. Компания также строит современный комплекс в Малайзии.

В Supermicro заявляют, что продолжают тесно сотрудничать с операторами ЦОД для оптимизации характеристик оборудования под конкретные задачи и нагрузки. Многие из моделей серверов компании предназначены именно для жидкостного охлаждения.

Компания H3C Technologies, базирующаяся в Китае, по информации ресурса DigiTimes, заключила соглашение о сотрудничестве с Foxconn с целью открытия своего первого зарубежного завода. Предприятие расположится в Малайзии: выпуск продукции на нём планируется начать в сентябре нынешнего года.

H3C, принадлежащая Tsinghua Unigroup и HPE, является крупнейшим в Китае поставщиком серверов и памяти HPE, а также технических услуг. По оценкам IDC, H3C занимала второе место в рейтинге производителей серверов x86 в КНР в течение трёх лет подряд — с 2021-го по 2023 год: доля этой компании оценивалась в 15,8 %. Кроме того, H3C удерживала в Китае первое место (51,7 %) в сегменте блейд-серверов с 2019-го по 2023 год и второе место (20,5%) в области GPU-серверов с первой половины 2020-го по 2023 год.

Партнёрство с Foxconn является частью стратегии H3C по выходу на международный рынок. В течение следующих двух-трёх лет H3C намерена запустить производственные мощности в США, Мексике и Европе. План состоит в том, чтобы использовать передовые технологии Тайваня для развития бизнеса в других регионах. В частности, в Малайзии H3C намерена предоставлять цифровые решения и техническую поддержку, используя свой опыт в области ИИ, IoT, облачных вычислений, больших данных и информационной безопасности. Предполагается, что это будет способствовать цифровой трансформации страны.

Источник изображения: H3C

H3C планирует задействовать мощности Foxconn по производству чипов в Малайзии. Последняя приобрела примерно 5,03 % акций малазийской компании Dagang Nexchange Bhd (DNex), которой принадлежит доля в размере 60 % в SilTerra — местном производителе полупроводниковой продукции.

Между тем HPE намерена избавиться от оставшейся доли в совместном китайском предприятии H3C. Недавно Tsinghua Unigroup приобрела у НРЕ 30 % акций H3C примерно за $2,14 млрд, увеличив свою долю с 51 % до 81 %. В дальнейшем Tsinghua Unigroup может купить оставшиеся 19 % бумаг H3C.

Согласно прогнозам правительства Японии, в стране придётся производить на 35 % или даже 50 % больше энергии к 2050 году. По данным Reuters, это связано с растущим спросом на электричество со стороны заводов по выпуску полупроводников и ростом числа дата-центров, занятых ИИ-вычислениями.

Если в текущем десятилетии ожидается энергогенерация на уровне 1 трлн кВт∙ч, то в 2050 году речь будет идти уже о 1,35-1,5 трлн кВт∙ч. Как сообщили в правительстве страны в понедельник, это будет необходимо для того, чтобы удовлетворить спрос, поскольку Япония строит всё больше дата-центров, заводов по выпуску чипов и прочих предприятий, потребляющих электроэнергию в больших объёмах.

Власти отмечают, что столь заметный рост спроса на энергию ожидается впервые за 20 лет, что потребует крупномасштабных вложений в создание генерирующих мощностей. Кроме того, предполагается, что если объёмы генерации возобновляемой энергии не увеличатся, о стабильных поставках энергии не может быть и речи, поскольку сейчас Япония сильно зависит от углеводородов с Ближнего Востока.

Источник изображения: Tianshu Liu/unsplash.com

Поэтому уже разрабатывается обновлённая стратегия декарбонизации и промышленной политики до 2040 года. В частности, в прошлом году принят закон об инвестициях в декарбонизацию более ¥150 трлн ($962 млн) в течение 10 лет в частном и государственном секторах. Для того, чтобы удовлетворить спрос в возобновляемой энергии, в Японии планируют применять современные перовскитные солнечные элементы, плавучие оффшорные ветроэлектростанции, возобновить работу АЭС и представить реакторы нового поколения.

В стране наблюдается дефицит собственных природных ресурсов — она практически полностью зависит от импорта энергоносителей. При этом уже к 2030 году планируется снизить углеродные выбросы на 46 % в сравнении с 2013 годом, а полной «углеродной нейтральности» достичь к 2050 году. Пока же Япония считается пятой страной мира по объёмам выбросов углекислого газа.

С учётом своих планов она пересмотрела решение о фактически полном отказе от АЭС — с учётом высоких цен на нефть и газ, было решено возобновить работу некоторых реакторов, включая крупнейшую в стране АЭС Kashiwasaki Kariwa на 8,2 ГВт. При этом Япония в формате G7 подписала запрет на использование угольных ТЭС до 2035 года, но, похоже, временно не станет его придерживаться наряду с Германией — из-за зависимости этих стран от стабильной угольной энергетики при отсутствии сопоставимых альтернатив.

Компания Hewlett Packard Enterprise (HPE) объявила о начале внедрения серверов, выпускаемых в рамках её плана Made in India, в проектах на территории страны. HPC Wire сообщает, что серверы индийского производства в больших масштабах используются для обслуживания растущего спроса со стороны индийских клиентов — процесс идёт с опережением графика.

План Make in India представили в июле 2023 года совместно с индийским производителем VVDN Technologies. HPE намеревается выпустить высокопроизводительные серверы на сумму $1 млрд за первые пять лет производства. Партнёры вместе построили крупное производство в городе Манесар (штат Харьяна), которое уже функционирует на полную мощность. Восемь предыдущих месяцев компании занимались организацией, настройкой автоматизации и контроля качества.

Источник изображения: HPE

Серверы Made in India подходят для самых разных целей и нагрузок, позволяя индийским компаниям и организациям модернизировать IT-инфраструктуру. В HPE India выразили признательность Министерству электроники и информационных технологий страны за программу Production Linked Incentive (PLI), предусматривающую стимулы для OEM-производителей. Именно она сыграла важную роль в привлечении компании к созданию производств на территории Индии, хотя и была поначалу не слишком успешной.

Процесс поверхностного монтажа печатных плат (PCBA) — один из технически сложных и критически важных для выпуска серверов, и возможность такой сборки непосредственно в Индии позволяет сделать производство ещё более рентабельным, чем если бы речь шла только о простой крупноузловой сборке. Благодаря этому компания получает статус доверенного предпочтительного поставщика для правительства и государственных организаций.

В VVDN Technologies подчеркнули, что сотрудничество с HPE вносит важный вклад в процесс достижения цели по превращению Индии в мировой производственный хаб. План HPE по выпуску серверов в Индии соответствует цели компании по диверсификации и обеспечению надёжности цепочки поставок. Компания активно изучает возможности дальнейшей локализации производств с помощью VVDN и расширения портфеля продуктов, выпускаемых на индийских заводах.

Компания Schneider Electric намерена вложить $140 млн в создание производственных мощностей в США в течение 2024 года. По данным Datacenter Dynamics, новые и модернизированные мощности будут выпускать управляющие и распределительные устройства для дата-центров, критической инфраструктуры и промышленности Соединённых Штатов.

Вендор потратит $85 млн на преобразование и оснащение завода в Маунт Джулиет (Mount Juliet) в Теннесси и модернизацию завода в Смирне (Smyrna) того же штата. Ожидается, что объект в Маунт Джулиет начнёт выпускать и поставлять продукцию к середине 2024 года, а к концу года заработает на полную мощность. Дополнительно компания наймёт 455 рабочих, распределив их по обеим локациям. Куда потратят остальные средства, пока не сообщается.

По словам Schneider Electric, потребность в электрической инфраструктуре для поддержки передовых вычислений и технологического прогресса ещё никогда не была так велика. Дополнительно вложения поддержат исполнение Закона об инвестициях в инфраструктуру и рабочие места (Infrastructure Investment and Jobs Act) и Закона о снижении инфляции (Inflation Reduction Act). Это позволит поднять поставки оборудования местного производства. Также это укрепит позиции Schneider Electric в качестве одного из лидеров в области «зелёной» энергетики.

Фото: Schneider Electric

С 2020 года Schneider Electric уже вложила $440 млн в производство в Соединённых Штатах, в том числе в завод в Пало Альто (Техас), запущенный в 2023 году. Также у компании есть производственные объекты в Лексингтоне (Кентукки), Линкольне (Небраска), а также Механиксбурге и Миддлтауне в Пенсильвании. Это уже не первый европейски бизнес, готовый вкладывать большие средства в развитие производства электрооборудования для ЦОД в Соединённых Штатах. Ещё в конце прошлого года появилась информация о намерении Siemens AG потратить более $500 млн на аналогичные цели.

По оценкам DIGITIMES Research, доходы тайваньского бизнеса, связанного с серверами, в 2023 году превысили 2 трлн тайваньских долларов, сократившись на 7 %. Согласно последнему отчету, снижение физического объёма поставок на 17,5 % привело к гораздо меньшим денежным потерям, чем ожидалось, так как в структуре экспорта выросла доля высокопроизводительных ИИ-серверов, стоящих чрезвычайно дорого.

В 2024 году DIGITIMES Research прогнозирует продолжение этой тенденции и спрос на замену серверов общего назначения, что приведёт к увеличению доходов тайваньских производителей серверов на 15 %.

Несмотря на сокращение заказов со стороны облачных провайдеров (CSP) на серверы общего назначения, а также связанные с ними услуги и оборудование, Foxconn (Hon Hai Precision Industry) в 2023 году осталась на первом месте по выручке от продаж серверов среди тайваньских производителей. По оценкам, в 2024 году Foxconn Group сохранит лидерство вследствие большого объема заказов на новые процессоры Amazon Graviton и роста продаж новых решений NVIDIA во II половине года. Ожидается, что доходы Foxconn от продаж серверов вырастут почти на 15 %.

Компания Wistron Group (включая Wiwynn), занявшая второе место, имела в 2023 году самые стабильные показатели выручки среди тайваньских компаний, снижение которой, по оценкам, составило всего 5,2 %. Wistron является основным поставщиком HGX-модулей NVIDIA A100/H100 и иных несущих плат для ускорителей, которые принесли существенный доход.

В 2024 году выручка Wistron Group также значительно вырастет благодаря таким благоприятным факторам, как увеличение поставок как ИИ-серверов для гиперскейлеров, так и фирменных ИИ серверов. Доходы Quanta Computer, занимающей третье место, в 2023 году по серверному направлени. сократились на 9,2 %, поскольку североамериканские облака перенесли часть своих расходов на приобретение дорогостоящих ИИ-серверов и значительно сократили закупки серверов общего назначения. В 2024 году, в связи со существенным увеличением доли ИИ-серверов с более высокой маржинальностью, выручка Quanta может вырасти на 14,5 %.

В 2023 году у компании Inventec первое место по объему поставок серверов в виде материнских плат, а по выручке — четвертое. В 2023 году, когда спрос на серверы общего назначения со стороны поставщиков фирменных решений и клиентов CSP после пандемии снизился, выручка Inventec от продажи серверов упала на 9,5 %, что стало самым значительным снижением среди четырех крупнейших тайваньских производителей. Ожидается, что в 2024 году заказы от крупных клиентов возобновятся, а продажи вырастут на 9 %.

IT-гиганты из США призвали Foxconn и других тайваньских партнёров организовать производство ИИ-серверов в Мексике. The Wall Street Journal сообщает, что, даже без учёта геополитических причин, мешающих сотрудничеству с материковым Китаем, вендоры только выиграют — благодаря соглашению о свободной торговле между США, Мексикой и Канадой от 2020 года выпускать продукцию на границе с Соединёнными Штатами просто выгоднее.

С момента подписания соглашения Мексика стала его ключевым бенефициаром наряду с США. Например, на объектах Foxconn в стране, по некоторым данным, уже выпускаются ИИ-серверы для Amazon, Google и NVIDIA.

По данным отраслевых источников, наладить производство в Мексике намерен и другой тайваньский производитель серверов — Inventec, якобы уже имеющий в партнёрах некий «топовый американский бренд». Снизить зависимость от Китая пытаются и Dell с HPE, развивая проекты в Юго-Восточной Азии и Мексике. Пытаются пустить корни в стране Pegatron, Wistron, Quanta и Compal. По последним данным, в Мексике уже действуют 300 тайваньских компаний, на которые работают 70 тыс. человек. Вместе они формируют рынок объёмом $15 млрд.

Источник изображения: ThisisEngineering RAEng/unsplash.com

Впрочем, у Мексики есть собственные недостатки — ей трудно конкурировать с Китаем по уровню заработной платы и здесь отсутствует надёжная инфраструктура. Но благодаря трансграничным соглашениям о свободной торговле и географической близости к США эти недостатки нивелируются, а в политическом аспекте проблем у США с Мексикой фактически нет. Это делает её во многих отношениях привлекательнее, чем Китай, где сегодня отмечаются большие проблемы с выпуском ИИ-серверов. В частности, с некоторых пор КНР не может получать передовые чипы для выпуска аналогичного оборудования, предназначенного для поставок американским компаниям, из-за введённых США антикитайских санкций. Запрещены даже поставки некоторых игровых видеокарт.

Охлаждение отношений между США и Китаем привело и к сокращению торговли между странами в целом. Например, в 2023 году доля китайских товаров в американском импорте составляла 13,9 %. Для сравнения — в 2015 году она была на уровне 21,5 %. На прошлой неделе появилась статистика Министерства экономики Тайваня (Ministry of Economic Affairs, MOEA), согласно которой местный бизнес производит 90 % всех ИИ-серверов в мире и 100 % серверов под американскими брендами. Такое положение дел не может не беспокоить США, поскольку многие допускают превращения региона в «горячую точку» уже в ближайшие годы.

Компании NVIDIA и Siemens сообщили о расширении сотрудничества с целью внедрения иммерсивной визуализации и генеративного ИИ в промышленное проектирование и производство. В частности, Siemens интегрирует новый программный интерфейс NVIDIA Omniverse Cloud API в свою платформу Xcelerator.

Напомним, Omniverse Cloud представляет собой комплексный пакет облачных сервисов, позволяющих проектировать, публиковать, эксплуатировать и тестировать приложения метавселенной вне зависимости от местонахождения. В свою очередь, Xcelerator — интегрированный пакет ПО и сервисов для разработки приложений.

NVIDIA и Siemens совмещают платформы Omniverse и Xcelerator, выводя промышленную автоматизацию на новый уровень. Партнёры объединяют обширную промышленную экосистему Xcelerator и физически точный механизм создания виртуального мира в реальном времени с поддержкой ИИ. Это позволяет создавать точные реалистичные цифровые двойники.

Источник изображения: NVIDIA

В рамках сотрудничества Siemens, в частности, интегрирует NVIDIA Omniverse Cloud API в состав Teamcenter X (входит в Xcelerator). Облачная система Teamcenter X предоставляет пользователям безопасный доступ к данным управления жизненным циклом изделия (PLM) из любой точки мира, с любого устройства и в любое время. Благодаря использованию API Omniverse могут быть ускорены различные рабочие процессы при создании цифровых двойников, такие как изменение условий освещения, применение тех или иных материалов и пр.

Источник изображения: NVIDIA

Отмечается, что традиционно компании в значительной степени полагались на физические прототипы при реализации крупномасштабных промышленных проектов. Такой подход является дорогостоящим, ограничивает инновации и замедляет время выхода решений на рынок. Совместная инициатива Siemens и NVIDIA позволяет устранить указанные препятствия путём создания фотореалистичных цифровых двойников, учитывающих физику реального мира. Это означает, что такие компании, как HD Hyundai (занимается судостроением, тяжёлым оборудованием и машиностроением), могут унифицировать и визуализировать сложные инженерные проекты непосредственно в Teamcenter X.

В частности, API USD Query позволяет пользователям Teamcenter X перемещаться и взаимодействовать с физически точными объектами, тогда как API USD Notify обеспечивает автоматическое обновление дизайна и сцен в режиме реального времени. В дальнейшем Siemens планирует внедрить технологии NVIDIA и в другие продукты Xcelerator.

Компания LiquidStack, разработчик систем погружного (иммерсионного) жидкостного охлаждения для ЦОД, сообщила о создании новой производственной площадки и глобальной штаб-квартиры в Кэрроллтоне (Техас, США). Объект функционирует с декабря 2023-го, но официальная церемония открытия состоится 22 марта нынешнего года. Отмечается, что площадка является важным этапом развития бизнеса LiquidStack.

На фоне стремительного роста спроса на ИИ-приложения и НРС увеличивается потребность дата-центров в высокоэффективных СЖО. Запуск производства в Кэрроллтоне поможет LiquidStack гибко реагировать на потребности клиентов, сохраняя при этом высокие стандарты качества и обслуживания клиентов, говорит компания. Вероятно, у LiquidStack появился крупный заказчик на американском рынке. Ранее решения компании тестировала Microsoft.

Источник изображения: LiquidStack

На новой площадке будет выпускаться полный спектр решений LiquidStack. Это, в частности, устройства распределения охлаждающей жидкости (CDU), одно- и двухфазные системы погружного охлаждения, а также модульные СЖО-платформы MacroModular и MicroModular. На территории объекта также будет размещён центр обучения и демонстрации продуктов для клиентов и партнёров.

Источник изображения: LiquidStack

Производственное предприятие LiquidStack и штаб-квартира в Кэрроллтоне имеют общую площадь приблизительно 1860 м². В настоящее время компания занимается подбором персонала: ожидается, что к концу 2024 года численность нынешней команды на площадке увеличится более чем в три раза.

«Мы наблюдаем невероятно высокий спрос на жидкостное охлаждение во всём мире в связи с распространением чипов со сверхвысоким TDP, которые применяются для задач генеративного ИИ. Инвестиции в новый объект позволяют нам обслуживать быстрорастущий рынок, создавая при этом высококвалифицированные рабочие места», — сказал Джо Кейпс (Joe Capes), генеральный директор LiquidStack.