Агентству Reuters стало известно о совместной работе китайской компании ByteDance, владеющей популярным видеосервисом TikTok, и американского производителя чипов Broadcom над созданием усовершенствованного ИИ-ускорителя. По словам источников Reuters, это 5-нм ASIC, на который не будут распространяться экспортные ограничения США.

Также сообщается, что производством чипа будет заниматься TSMC. Вероятно, его выпуск начнётся в следующем году. Как сообщил источник, работа над чипом идёт полным ходом, но проектирование ещё не завершено. ByteDance и Broadcom являются партнёрами как минимум с 2022 года. ByteDance покупала у американской компании 5-нм чипы Tomahawk, а также коммутаторы Bailly для ИИ-кластеров, указано в публичных заявлениях Broadcom.

Сотрудничество с Broadcom в деле разработки ИИ-ускорителя позволит ByteDance сократить затраты и обеспечить стабильные поставки высокопроизводительных чипов, утверждают источники Reuters. Для ByteDance, владеющей также китайской версией TikTok под названием Douyin, и ещё рядом популярных приложений, включая сервис чат-ботов, похожий на ChatGPT, под названием Doubao с 26 млн пользователей, крайне важно иметь достаточный запас ИИ-ускорителей.

Источник изображения: Broadcom

По словам источника, ByteDance выделила в прошлом году $2 млрд на закупку ИИ-ускорителей. В частности, она успела приобрести неназванные объёмы NVIDIA A100 и H100, которые были доступны до вступления в силу первого раунда санкций США, а также чипы A800 и H800, которые со временем также попали под ограничения. ByteDance также приобретала в прошлом году чипы Huawei Ascend 910B, утверждают информированные источники.

Особое внимание Bytedance уделяет набору квалифицированных кадров в сфере ИИ. На веб-сайте компании в настоящее время размещены сотни вакансий, связанных с полупроводниками, в том числе 15 для разработчиков микросхем ASIC. Кроме того, по словам одного из источников, Bytedance переманивает высокопоставленных специалистов у китайских производителей ИИ-чипов.

Китайские компании, лишённые доступа к передовым ИИ-чипам из-за введённых США санкций, освоили новую схему обхода ограничений. По данным The Register, теперь они покупают доступ к подсанкционному оборудованию непосредственно на территории Соединённых Штатов. О возможности подобной схемы эксперты предупреждали уже давно.

По слухам, Alibaba и Tencent вели переговоры с NVIDIA о получении тем или иным способом доступа к ускорителям, продажа которых в Китай ограничена — бизнесы из КНР рассматривали возможность использовать их в ЦОД на территории США. China Telecom, как считается, тоже вела переговоры с облачными провайдерами о получении доступа к высокопроизводительному ИИ-оборудованию. Другими словами, китайский бизнес намерен обходить американские санкции, покупая или арендуя оборудование под боком у Вашингтона. Владелец TikTok — компания ByteDance, похоже, тоже участвует в подобных схемах со своим партнёром Oracle, у которого она арендует доступ к передовым ускорителям NVIDIA.

Источник изображения: Mark Daynes/unsplash.com

В NVIDIA ответили на запросы журналистов, сообщив, что поддерживают новые дата-центры в США, расширяя вычислительные экосистемы и создавая рабочие места. В компании подчеркнули, что все клиенты американских ЦОД должны соблюдать местные законы, включая правила экспортного контроля и прочие ограничения.

США уже годами вовлечены в «полупроводниковую войну» и применили в отношении Китая несколько пакетов санкций, призванных ограничить доступ Китаю к данным о передовых архитектурах чипов и современному оборудованию для их производства. Конечно, КНР ищет пути для обхода ограничений — например, компании вроде Huawei неоднократно ловили на попытках так или иначе обмануть американскую санкционную машину.

В то же время США пытаются наладить производство чипов на территории страны — сегодня большинство передовых полупроводников выпускается на Тайване. Это только усилит желание КНР получить доступ к самым современным технологиям и подстегнёт не только инвестиции в полупроводниковую отрасль, но и поиск новых путей обхода санкций. Правда, пока не известно, могут ли считаться китайские компании, пытающиеся организовать вычисления на территории США, нарушителями законов или они просто ловко нашли пробел в американском законодательстве.

Китайский гигант электронной коммерции Alibaba по примеру Microsoft, финансировавшей успешный ИИ-стартап OpenAI, пытается расширить своё присутствие на рынке ИИ-технологий с помощью инвестиций в китайские стартапы в области генеративного ИИ. Разница лишь в том, что Alibaba предлагает большей частью не традиционное финансирование деньгами, а кредиты на использование своей облачной инфраструктуры для обучения ИИ-моделей, пишет газета Financial Times.

В числе стартапов, пользующихся поддержкой Alibaba, газета назвала Moonshot, Zhipu, MiniMax и 01.ai, которые разрабатывают локальные версии американских приложений, таких как ChatGPT и чат-бот-аватар Character.ai. Так, в феврале этого года Alibaba возглавила раунд финансирования Moonshot AI, разработчика ИИ-решений для компаний в сфере электронной коммерции, включая чат-бот Kimi AI, привлёкшего $1 млрд инвестиций, после чего его рыночная стоимость оценивалась в $2,5 млрд.

По словам источников Financial Times, Alibaba инвестировала в Moonshot AI $800 млн, но лишь чуть больше половины было предоставлено деньгами, а остальная часть поступила в виде кредитов на облачные вычисления. Как утверждают источники, в течение 2023 года глава Alibaba Эдди Юнмин У (Eddie Yongming Wu) лично контролировал выделение инвестиций четырём ведущим ИИ-стартапам Китая, что говорит о том, какое значение компания придаёт этому направлению.

Источник изображений: Alibaba

После отказа из-за санкций США от амбициозного плана реструктуризации, предполагавшего проведение IPO облачным подразделением, на фоне растущей конкуренцией со стороны ByteDance и PDD Holdings на своём основном рынке электронной коммерции, Alibaba пытается найти новые драйверы роста. После отмены реструктуризации Эдди Юнмин У взял под личный контроль облачный бизнес, сделав ставку на ИИ в скорректированной стратегии по стимулированию роста компании.

Порядок выделения инвестиций Alibaba в Moonshot повторяет подход Microsoft и Amazon, согласно которому денежные средства передаются ИИ-стартапам при условии, что те будут использовать их для обучения и запуска моделей в облаках Azure и AWS соответственно. Разница заключается в том, что в случае Alibaba напрямую деньги никогда не передаются китайским стартапам. Вместо этого они хранятся на условном депонировании, который компания может считать поступающим доходом.

«Предоставление вычислений на самом деле более ценно, чем наличные, — заявил китайский эксперт в области ИИ. — Из-за нехватки чипов очень сложно получить доступ к кластеру Alibaba из 10 тыс. ускорителей». Alibaba Cloud и другие игроки успели приобрести крупные объёмы современных ускорителей NVIDIA, в том числе урезанные A800 и H800, прежде чем США ввели ограничения. И теперь компания стремится извлечь из владения ими выгоду, прежде чем они устареют.

Крупнейшие интернет-компании Китая, в том числе Alibaba, Meituan, Xiaohongshu и Tencent, играют огромную роль в финансировании новой волны ИИ-стартапов по сравнению с предыдущим поколением стартапов, где доминировали компании SenseTime и Megvii, специализирующиеся на разработке решений для распознавания лиц и видеонаблюдения.

China Mobile, одна из ключевых в Китае телеком-компаний, насчитывающая более миллиарда клиентов, намерена приобрести 8 тыс. ИИ-серверов. По информации The Register, представители IT-гиганта рассчитывают, что оборудование заработает до 2025 года. Приобретение планируют разбить на заказы для семи отдельных вендоров. Местные СМИ уже сообщают, что речь идёт о крупнейшей централизованной закупке ИИ-серверов в Китае за всю историю.

Общая стоимость оборудования может перевалить за ¥15 млрд — $2 млрд. Причём компания не одинока в своём стремлении обзавестись передовыми аппаратными решениями. Спешно организуют закупки ИИ-серверов на фоне антикитайских санкций и другие телеком-гиганты Поднебесной. China Unicom, по слухам, в прошлом месяце занялась закупками 2,5 тыс. серверов, схожие действия предпринимались и China Telecom.

Что именно компании намерены делать с полученными серверами, не уточняется. Впрочем, China Mobile выступает оператором крупного облака, поэтому ИИ-серверы компании безусловно пригодятся. Также не исключено, что бизнес будет использовать ИИ и для обслуживания клиентов, хотя нужно ли для этого такое количество серверов — вопрос отдельный.

Источник изображения: Kvistholt Photography / Unsplash

Главный интерес представляет даже не сфера применения ИИ-ускорителей, а их источники. В Китае пока не создано решений современного мирового уровня и даже передовые модели Huawei серии Ascend не способны на равных тягаться с новейшими решениями NVIDIA.

Хотя в теории американские производители ускорителей могут получить от властей США экспортную лицензию, подав заявку в индивидуальном порядке, вряд ли такое разрешение получит подконтрольная государству China Mobile. Более того, она наряду с China Unicom и China Telecom отнесена Пентагоном к «структурам, идентифицированным как китайские военные компании», а санкции США декларировались именно как меры, призванные помешать военным КНР в получении передовых технологий.

В числе официально доступных китайским телеком-компаниям вариантов — покупка западных ускорителей с искусственно ухудшенной функциональностью, не подпадающих под санкции. В числе неофициальных — обыкновенная контрабанда или, как ходят слухи, закупка через фирмы-прослойки готовых серверов с уже установленными ускорителями.

Корпорация HPE, по сообщению The Register, подала в суд на Inspur Group: крупнейший в Китае и один из крупнейших производителей серверов в мире обвиняется в незаконном использовании ряда запатентованных технологий. Иск направлен в инстанцию Северного округа Калифорнии (США).

Истцы заявляют, что Inspur нарушила пять патентов HPE. Речь в них идёт, в частности, о методах и системах для управления массивами хранения, средствах определения энергопотребления в IT-сетях, инструментах эмуляции устройств и пр. Утверждается, что Inspur на протяжении нескольких лет игнорировала неоднократные предложения обсудить лицензирование технологий НРЕ.

В судебных документах говорится, что в состав Inspur Group входит ряд дочерних компаний, работающих под разными названиями. В число ответчиков включены Inspur Group, Inspur Electronic Information Industry (IEIT Systems), Aivres Systems (ранее известна как Inspur Systems), Betapex (прежнее название — Inspur Asset Holdings), Inspur USA и KAYTUS Singapore Pte. Сама Inspur Group неоднократно попадала под санкции США.

Источник изображения: Inspur

Одной из причин смены названий некоторых структур, как отмечается в иске, является то, что в марте 2023 года Inspur Group была внесена в санкционный список Министерства торговли США. Компаниям из этого перечня необходимо получить лицензию от американского правительства для ведения бизнеса в США. Вместо этого, как утверждается в жалобе, Inspur Group просто поменяла имена дочерних компаний, чтобы продолжить продавать свое IT-оборудование на американском рынке.

Вместе с тем, как считает НРЕ, компания Inspur продолжает продавать продукты, нарушающие патенты, под другими названиями. Например, сервер Aivres 5280M6, по сути, представляет собой переименованную версию Inspur IR5280M6. Оба решения имеют схожие названия, одни и те же изображения и идентичные технические характеристики.

В целом, как говорится в иске, Inspur «нарушила многочисленные патенты HPE». Из-за того, что китайский производитель не ответил на предложения о лицензировании технологий, HPE будет отставить права на интеллектуальную собственность в судебном порядке. О выдвигаемых требованиях ничего не сообщается.

Корпорация Intel, как отмечает ресурс The Register, готовит специализированные модификации ИИ-ускорителя Gaudi3 для китайского рынка. Эти варианты из-за санкционных ограничений со стороны США будут отличаться от стандартных версий пониженным TDP и «урезанной» производительностью.

Intel официально представила Gaudi3 менее недели назад. Изделие имеет чиплетную компоновку: оно состоит из двух одинаковых кристаллов с быстрым интерконнектом. В оснащение входят 128 Гбайт памяти HBM2e. Заявленная производительность FP8 и BF16 достигает 1835 Тфлопс (MME — блоки матричной математики). В семейство Gaudi3 входят ОАМ-версии HL-325L и HL-335 с показателем TDP в 900 Вт, а также PCIe-вариант HL-338 с TDP на уровне 600 Вт.

Источник изображения: Intel

Для Китая Intel предложит ОАМ-ускоритель HL-328 и PCIe-модификацию HL-388 — их поставки начнутся в июне и сентябре нынешнего года соответственно. Как и обычные изделия, ускорители для китайских заказчиков содержат два кристалла, а конфигурация памяти не изменилась — 128 Гбайт HBM2e с пропускной способностью 3,7 Тбайт/с. Вместе с тем величина TDP в обоих случаях снижена до 450 Вт.

Источник: Intel

В соответствии с экспортными ограничениями со стороны США, в Китай запрещаются поставки чипов с производительностью BF16 более 150 Тфлопс. Как именно Intel ограничивает быстродействие в китайских версиях Gaudi3, не ясно. Это может достигаться за счёт снижения тактовой частоты или какого-то другого метода. При этом возможность объединения таких ускорителей в группы остаётся. Отмечается также, что в Китай, по всей видимости, не будут поставляться варианты Gaudi3 с жидкостным охлаждением.

NVIDIA уже дважды меняла характеристики ускорителей, чтобы обойти санкции США в отношении Китая, причём компания успела выпустить существенный объём продукции, которую в итоге пришлось направить на другие рынки. Многие китайские компании успели накопить запасы ускорителей, которых хватит на ближайшие пару лет. AMD, как выяснилось, тоже подготовила «урезанную» версию ускорителя Instinct MI309, но Министерство торговли США всё равно не разрешило поставлять её Китаю.

IT-гиганты из США призвали Foxconn и других тайваньских партнёров организовать производство ИИ-серверов в Мексике. The Wall Street Journal сообщает, что, даже без учёта геополитических причин, мешающих сотрудничеству с материковым Китаем, вендоры только выиграют — благодаря соглашению о свободной торговле между США, Мексикой и Канадой от 2020 года выпускать продукцию на границе с Соединёнными Штатами просто выгоднее.

С момента подписания соглашения Мексика стала его ключевым бенефициаром наряду с США. Например, на объектах Foxconn в стране, по некоторым данным, уже выпускаются ИИ-серверы для Amazon, Google и NVIDIA.

По данным отраслевых источников, наладить производство в Мексике намерен и другой тайваньский производитель серверов — Inventec, якобы уже имеющий в партнёрах некий «топовый американский бренд». Снизить зависимость от Китая пытаются и Dell с HPE, развивая проекты в Юго-Восточной Азии и Мексике. Пытаются пустить корни в стране Pegatron, Wistron, Quanta и Compal. По последним данным, в Мексике уже действуют 300 тайваньских компаний, на которые работают 70 тыс. человек. Вместе они формируют рынок объёмом $15 млрд.

Источник изображения: ThisisEngineering RAEng/unsplash.com

Впрочем, у Мексики есть собственные недостатки — ей трудно конкурировать с Китаем по уровню заработной платы и здесь отсутствует надёжная инфраструктура. Но благодаря трансграничным соглашениям о свободной торговле и географической близости к США эти недостатки нивелируются, а в политическом аспекте проблем у США с Мексикой фактически нет. Это делает её во многих отношениях привлекательнее, чем Китай, где сегодня отмечаются большие проблемы с выпуском ИИ-серверов. В частности, с некоторых пор КНР не может получать передовые чипы для выпуска аналогичного оборудования, предназначенного для поставок американским компаниям, из-за введённых США антикитайских санкций. Запрещены даже поставки некоторых игровых видеокарт.

Охлаждение отношений между США и Китаем привело и к сокращению торговли между странами в целом. Например, в 2023 году доля китайских товаров в американском импорте составляла 13,9 %. Для сравнения — в 2015 году она была на уровне 21,5 %. На прошлой неделе появилась статистика Министерства экономики Тайваня (Ministry of Economic Affairs, MOEA), согласно которой местный бизнес производит 90 % всех ИИ-серверов в мире и 100 % серверов под американскими брендами. Такое положение дел не может не беспокоить США, поскольку многие допускают превращения региона в «горячую точку» уже в ближайшие годы.

Компания HP, по сообщению ресурса Tom's Hardware, готовит к выпуску новые рабочие станции серии Z, рассчитанные на приложения ИИ. В оснащение этих компьютеров войдут ускорители NVIDIA A800, которые изначально создавались для Китая в качестве «урезанной» версии А100 (40 Гбайт).

Предполагалось, что операторы дата-центров в КНР смогут закупать решения A800, которые проектировались специально с учётом санкционных ограничений со стороны США. Стоимость этих ускорителей, по имеющимся данным, на начальном этапе составляла $14,5 тыс. Однако в связи с введением новых экспортных ограничений США на поставку в Китай современных технологий отгрузки A800 в Поднебесную стали невозможны. Вместо них NVIDIA подготовила ускорители H20, L20 и L2.

А выпущенные A800 пришлось перераспределять в другие регионы. Однако из-за того, что у A800 пропускная способность интерконнекта NVLink в угоду санкциям снижена до 400 Гбайт/с против 600 Гбайт/с у А100, «урезанные» ускорители оказались не слишком популярны среди заказчиков. В такой ситуации установка A800 в рабочие станции НР поможет NVIDIA реализовать имеющиеся запасы продукции.

Источник изображения: NVIDIA

Характеристики систем НР серии Z пока не раскрываются. Высказываются предположения, что в их основу лягут либо процессоры Intel Xeon Emerald Rapids (или, возможно, Xeon Sapphire Rapids), либо чипы AMD Ryzen Threadripper Pro 7000 WX. Сама NVIDIA ещё в ноябре 2023 года фактически анонсировала A800 для западных рынков, заявив, что это «идеальная платформа для рабочих станций для ИИ, анализа данных и высокопроизводительных вычислений». В числе партнёров NVIDIA, которые занимаются продвижением A800, значатся PNY, Colfax International, ASK и Elsa.

По неподтверждённым пока данным, компания AMD провалила попытку снизить производительность своих ИИ-ускорителей таким образом, чтобы те соответствовали экспортным ограничениям США. Bloomberg сообщает, что по этой причине Вашингтон пока запретил поставлять их в Китай.

Это довольно распространённая тактика среди производителей чипов — Китай является одним из крупнейших рынков полупроводников в мире и отказываться от него по политическим соображениям компании не хотели бы, поскольку должны учитывать интересы акционеров, рассчитывающих на максимальную прибыль. Возможно, рынок заметно вырастет в ближайшее время, поскольку Пекин огласил планы сделать ИИ сердцем экономического развития. Другими словами, выпуск продуктов для Китая — очень выгодный бизнес.

В Bloomberg предполагают, что в AMD посчитали новые ускорители, известные как MI309, пригодными для продажи в Поднебесную, но Министерство торговли США, ответственное за выдачу экспортных лицензий, посчитало чипы чересчур производительными. Речь идёт об урезанной версии MI300, при этом ускорители MI210 в Китай поставляются. Упрощённые ускорители A800 и H800 уже выпускала NVIDIA, но после ужесточения запретов в октябре 2023 года она разработала новые варианты (H20, L20 и L2) с ещё более скромной производительностью. Пока же её продажи в КНР упали.

Источник изображения: Maxence Pira/unsplash.com

Тем временем китайские IT-гиганты накопили огромные запасы ускорителей впрок и компании вроде Baidu и Tencent сообщают, что складских остатков хватит на год-два бесперебойного обеспечения ИИ-проектов. Примечательно, что Baidu говорит о своих разработках в контексте их сравнения с мировыми, а не местными конкурентами. При этом Baidu закупила и местные ИИ-ускорители Huawei Ascend 910B. Хотя китайские лидеры полупроводниковой отрасли хотя и отстают от AMD, Intel и NVIDIA, сбрасывать со счетов их не стоит.

При этом некоторые китайские производители чипов занимаются созданием совместимых с CUDA решений. Это косвенно свидетельствует о том, что просто качественного «железо» для успеха мало — необходима совершенная программная среда для его эксплуатации. Это пока является слабым местом китайских разработок, отмечает The Register.

Китайская Huawei вновь попала в центр внимания СМИ после того, как глава NVIDIA признал её достижения в сфере ИИ-решений. По данным SCMP, хотя в отношении Китая Соединённые Штаты ввели жёсткие санкции, Huawei смогла предложить в материковом Китае альтернативу высокопроизводительным ускорителям NVIDIA.

Ускоритель Ascend 910B уже доступен в Поднебесной и, по данным отраслевых экспертов, его производительность сравнима с характеристиками NVIDIA A100. По мнению экспертного сообщества, новинка выпускается ведущим контрактным производителем полупроводников Китая — компанией SMIC, тоже находящейся под американскими санкциями. Выпуск осуществляется в соответствии с 7-нм техпроцессом. В самой Huawei слухи о своих ускорителях не комментируют, хотя и признают, что ИИ является ключевой частью стратегии компании.

Хотя ещё в 2019 году против Huawei введены США жёсткие санкции, компания сумела «перегруппироваться», нашла новых поставщиков в Китае, а летом прошлого года представила свой первый за несколько лет 5G-смартфон — Mate 60 Pro на базе флагманского 7-нм чипсета Kirin 9000, без лишнего шума разработанном под санкциями. Уже тогда «возрождение» Huawei оказалось в центре внимания СМИ, политиков и бизнеса. ИИ-чип Huawei появился приблизительно в то же время, а китайский поисковый гигант Baidu заказал сразу 1600 таких ускорителей. К нему присоединились и другие компании из КНР, занимающиеся ИИ-проектами и обучением больших языковых моделей (LLM).

Источник изображения: Huawei

В прошлом месяце глава NVIDIA Дженсен Хуанг (Jensen Huang) признал значимость конкурента, назвав в одном из интервью Huawei «очень, очень хорошей компанией». По его словам, Huawei, испытывая проблемы с доступом к современным технологиям, тем не менее, может объединять в кластеры многочисленные ускорители собственной разработки, чтобы повысить производительность обработки ИИ-задач. Пока, по данным китайских источников, новые чипы можно заказать, но с поставками наблюдаются некоторые трудности.

По имеющимся сведениям, сервер с восемью ускорителями Ascend 910B стоит около ¥1,5 млн или немногим более $208 тыс. — приблизительно за столько же на местном чёрном рынке можно приобрести контрабандный сервер с NVIDIA A100. Эксперты не спешат комментировать возможную конкуренцию Huawei и NVIDIA, ограничиваясь замечаниями о том, что американская сторона имеет большой опыт ещё со времён разработки игровых GPU и предлагает целую экосистему на базе CUDA. Вероятно, Huawei придётся вложить средства в развитие программной экосистемы или делегировать это другим компаниям, сосредоточившись на разработке «железа». Но конкуренция с NVIDIA в любом случае не будет лёгкой.