Усилия Китая, направленные на достижение технологического суверенитета в сфере полупроводников, не всегда полностью успешны. Как сообщает Financial Times, клиенты часто жалуются на различные проблемы с ИИ-ускорителями Huawei, которая сама считает их достойной альтернативой продуктам NVIDIA в условиях антикитайских санкций со стороны США и их союзников.

Huawei лидирует на китайском рынке ИИ-чипов. Ускорители Ascend активно используются местными компаниями и государственными структурами как минимум для инференса. Однако некоторые китайские эксперты утверждают, что китайская продукция всё ещё сильно отстаёт от решений NVIDIA. В частности, работа чипов нестабильна, они используют довольно медленный межчиповый интерконнект и сопровождаются некачественным базовым ПО CANN, а использовать Ascend для обучения моделей по-прежнему затруднительно.

Программная платформа CUDA считается одним из ключевых факторов успеха NVIDIA. Huawei пытается создать альтернативу CUDA. Правда, пока на CANN жалуются даже некоторые сотрудники Huawei, в частности, на плохую документацию, что затрудняет поиск ошибок и проблем. Кроме того, некоторые пользователи сообщают о слишком частом выходе чипов из строя. Вместе с тем Huawei гораздо более тесно сотрудничает с клиентами, чем NVIDIA. Китайская компания готова на месте помогать клиентам с переносом решений с платформы CUDA на CANN, а команды специалистов Huawei уже прописались в Baidu, iFlytek и Tencent.

Источник изображения: Huawei

По имеющимся данным, из 207 тыс. сотрудников китайской компании, более половины работают в сфере R&D, куда относятся и специалисты, направляемые для отладки технологий на территории клиентов. Другими словами, в отличие от NVIDIA у Huawei большая команда специалистов поддержки, готовых оперативно устранять возникающие у клиентов проблемы. Кроме того, у Huawei есть специальный портал для отзывов разработчиков, связанных с улучшением программной экосистемы.

По данным источников издания, после того как США ужесточили санкции, Huawei подняла стоимость чипов Ascend 910B на 20–30 %. Кроме того, клиенты обеспокоены ограниченными объёмами поставок — имеющиеся в Китае мощности не могут работать в полную силу из-за санкций, мешающих покупать оборудование для выпуска чипов, например, у ASML.

В то же время дела у Huawei идут хорошо — в компании отмечают сильный спрос на ИИ-чипы, а в I выручка выросла на 34 %. Правда, статистику представили без разбивки по направлениям бизнеса. Летом на конференции World Artificial Intelligence Conference представители Huawei объявили, что на чипах Ascend обучено и протестировано более 50 ИИ-моделей. Например, iFlytek заявила, что её модель обучена исключительно на ускорителях Huawei, хотя и не без помощи последней.

Вместе с тем ещё в прошлом году китайские компании стали массово скупать урезанные версии ускорителей NVIDIA (A800 и H800), предназначенные для рынка КНР, в ожидании очередной волны санкций со стороны США. А Tencent даже похвасталась, что смогла накопить достаточно ускорителей для дальнейшего развития ИИ-проектов. При этом для NVIDIA рынок Китая по-прежнему крайне важен, поэтому она готова выпускать всё новые и новые варианты ускорителей специально для него.

Компания Exascend объявила о расширении семейств индустриальных накопителей SA4, SI4 и SE4, в которые входят SSD в различных форм-факторах с интерфейсом SATA-3. Во всех этих сериях появилась SFF-модель вместимостью 15,36 Тбайт на основе чипов флеш-памяти 3D TLC NAND.

Все три новинки заключены в корпус толщиной 7 мм. Скорость последовательного чтения информации достигает 560 Мбайт/с, скорость последовательной записи — 535 Мбайт/с. Реализована поддержка TCG Opal 2.01 и AES-256. Средняя наработка на отказ (величина MTBF) достигает 2 млн часов.

Источник изображения: Exascend

В устройствах применена технология непосредственной записи в TLC-память (write-to-TLC) для поддержания стабильной скорости чтения и записи: это позволяет компенсировать падение производительности при исчерпании кеша SLC. Имеется встроенная защита от потери питания (PLP).

У моделей SA4 и SI4 диапазон рабочих температур простирается от -40 до +85 °C. Показатель IOPS (операций ввода/вывода в секунду) при произвольных чтении и записи данных блоками по 4 Кбайт находится на уровне 97 тыс. и 26 тыс. соответственно. При этом для изделий серии SA4 предусмотрено специальное покрытие для защиты от негативных воздействий окружающей среды. Устройства рассчитаны на 0,6 полных перезаписи в сутки (показатель DWPD) на протяжении трёх лет.

Накопитель SE4, в свою очередь, имеет диапазон рабочих температур от 0 до +70 °C. Величина IOPS составляет до 97 тыс. при чтении и до 18 тыс. при записи. Значение DWPD — 0,6 на протяжении пяти лет.

Huawei Technologies вскоре представит новый ИИ-ускоритель Ascend 910C, сопоставимый по производительности с NVIDIA H100, сообщила газета The Wall Street Journal со ссылкой на информированные источники. По их словам, китайские интернет-компании и операторы в последние недели тестировали этот чип и в настоящее время ByteDance (материнская компания TikTok), поисковик Baidu и государственный оператор связи China Mobile ведут переговоры по поводу его поставок.

Судя по озвученным цифрам, заказы могут превысить 70 тыс. шт. на общую сумму около $2 млрд. Huawei намерена начать поставки уже в октябре, сообщили источники, но компания не стала комментировать эти сообщения. Huawei была включена в «чёрный» список Entity List Министерства торговли США в 2019 году, что лишило её возможности производить закупки передовых чипов и оборудования для их выпуска, а также размещать заказы на производство микросхем за пределами Поднебесной.

Однако благодаря многомиллиардной государственной поддержке компания стала национальным лидером во многих областях, включая ИИ, и ключевой частью усилий Пекина по «удалению» американских технологий, отметила WSJ. При этом Китай наращивает поддержку отечественного производства полупроводников и в мае выделил $48 млрд в рамках третьего транша национального инвестиционного фонда для этой отрасли.

Источник изображения: huaweicentral.com

Из-за санкций США китайским клиентам NVIDIA приходится довольствоваться ИИ-ускорителем H20, разработанным специально для Китая с учётом экспортных ограничений Министерства торговли США, в то время как американские клиенты NVIDIA, такие, как OpenAI, Amazon и Google, вскоре получат доступ к гораздо более производительным чипам, включая GB200. NVIDIA также готовит для Китая чип B20, хотя есть опасения, что и он может попасть под новые ограничения США.

По оценкам аналитиков SemiAnalysis, 910C может быть даже лучше, чем B20, и если Huawei сможет наладить выпуск нового чипа, а NVIDIA по-прежнему не сможет продавать китайским клиентам передовые ускорители, то у последней все шансы быстро потерять долю рынка в стране. Согласно подсчётам SemiAnalysis, в 2025 году Huawei может произвести 1,3–1,4 млн ускорителей 910C, если не столкнётся с дополнительными ограничениями США. Аналитики ожидают, что NVIDIA продаст более 1 млн H20 в Китае в этом году на сумму около $12 млрд, т.е. в штучном выражении примерно вдове больше, чем Huawei 910B.

По словам источников, в последние недели Huawei начала накапливать запасы HBM-чипов, используемых в ИИ-ускорителях, в связи с опасениями ввода США новых экспортных ограничений. На прошедшей в июне конференции, посвящённой полупроводниковой промышленности, представитель руководства Huawei сообщил, что почти половина больших языковых моделей (LLM), созданных в Китае, была обучена с помощью ускорителей компании. Он также отметил, что в этих задачах 910B превосходит по производительности NVIDIA A100.

Компания Exascend анонсировала SSD повышенной надёжности семейства PR4, предназначенные для эксплуатации в экстремальных условиях, включая космическое пространство. В серию вошли изделия в форматах M.2 2280/2242, E1.S и U.2 с интерфейсом PCIe 4.0 (NVMe 1.4).

Накопители выполнены по технологии Neutron Shield 2.0, которая обеспечивает защиту от радиации. Средства Dual Power Loss Protection (PLP) отвечают за сохранность данных при внезапном отключении питания. Устройства соответствуют стандарту MIL-STD-810, что означает защиту от ударов, вибрации и других воздействий. Специальное покрытие ограждает от негативного воздействия влаги. Диапазон рабочих температур простирается от -40 до +85 °C.

Применены 176-слойные чипы флеш-памяти 3D TLC. Изделия M.2 имеют вместимость от 960 Гбайт до 7,68 Тбайт. Заявленная скорость последовательного чтения и записи данных достигает соответственно 3200 и 3000 Мбайт/с. Показатель IOPS (операций ввода/вывода в секунду) при работе с блоками по 4 Кбайт — до 400 тыс. при произвольном чтении и до 50 тыс. при произвольной записи. Устройства E1.S также имеют ёмкость от 960 Гбайт до 7,68 Тбайт, а SSD формата U.2 — от 960 Гбайт до 15,36 Тбайт. У накопителей этих двух типов скорость чтения составляет до 3500 Мбайт/с, скорость записи — до 3000 Мбайт/с. Значение IOPS при чтении и записи — до 500 тыс. и 55 тыс. соответственно.

Источник изображения: Exascend

В новинках реализованы технологии Exascend Adaptive Thermal Control и SuperCruise, оптимизирующие производительность путём интеллектуального управления температурным режимом и использования специальных алгоритмов записи. Говорится о поддержке TCG Opal 2.0 и шифрования AES-256. Значение MTBF (средняя наработка на отказ) — 2 млн часов. Накопители способны выдерживать до 0,6 полных перезаписи в сутки (показатель DWPD) на протяжении трёх лет. Энергопотребление в активном режиме не превышает 8 Вт, в режиме простоя — 1 Вт. Предоставляется трёхлетняя гарантия.

Китайская Huawei вновь попала в центр внимания СМИ после того, как глава NVIDIA признал её достижения в сфере ИИ-решений. По данным SCMP, хотя в отношении Китая Соединённые Штаты ввели жёсткие санкции, Huawei смогла предложить в материковом Китае альтернативу высокопроизводительным ускорителям NVIDIA.

Ускоритель Ascend 910B уже доступен в Поднебесной и, по данным отраслевых экспертов, его производительность сравнима с характеристиками NVIDIA A100. По мнению экспертного сообщества, новинка выпускается ведущим контрактным производителем полупроводников Китая — компанией SMIC, тоже находящейся под американскими санкциями. Выпуск осуществляется в соответствии с 7-нм техпроцессом. В самой Huawei слухи о своих ускорителях не комментируют, хотя и признают, что ИИ является ключевой частью стратегии компании.

Хотя ещё в 2019 году против Huawei введены США жёсткие санкции, компания сумела «перегруппироваться», нашла новых поставщиков в Китае, а летом прошлого года представила свой первый за несколько лет 5G-смартфон — Mate 60 Pro на базе флагманского 7-нм чипсета Kirin 9000, без лишнего шума разработанном под санкциями. Уже тогда «возрождение» Huawei оказалось в центре внимания СМИ, политиков и бизнеса. ИИ-чип Huawei появился приблизительно в то же время, а китайский поисковый гигант Baidu заказал сразу 1600 таких ускорителей. К нему присоединились и другие компании из КНР, занимающиеся ИИ-проектами и обучением больших языковых моделей (LLM).

Источник изображения: Huawei

В прошлом месяце глава NVIDIA Дженсен Хуанг (Jensen Huang) признал значимость конкурента, назвав в одном из интервью Huawei «очень, очень хорошей компанией». По его словам, Huawei, испытывая проблемы с доступом к современным технологиям, тем не менее, может объединять в кластеры многочисленные ускорители собственной разработки, чтобы повысить производительность обработки ИИ-задач. Пока, по данным китайских источников, новые чипы можно заказать, но с поставками наблюдаются некоторые трудности.

По имеющимся сведениям, сервер с восемью ускорителями Ascend 910B стоит около ¥1,5 млн или немногим более $208 тыс. — приблизительно за столько же на местном чёрном рынке можно приобрести контрабандный сервер с NVIDIA A100. Эксперты не спешат комментировать возможную конкуренцию Huawei и NVIDIA, ограничиваясь замечаниями о том, что американская сторона имеет большой опыт ещё со времён разработки игровых GPU и предлагает целую экосистему на базе CUDA. Вероятно, Huawei придётся вложить средства в развитие программной экосистемы или делегировать это другим компаниям, сосредоточившись на разработке «железа». Но конкуренция с NVIDIA в любом случае не будет лёгкой.

Анонсирован одноплатный компьютер Orange Pi AIpro для создания всевозможных устройств с ИИ-функциями. Это могут быть дроны, системы видеонаблюдения и анализа естественного языка, AR/VR-гаджеты, средства автоматизации, робототехнические комплексы и пр.

Традиционно в одноплатных компьютерах Orange Pi применяются процессоры Rockchip или Allwinner. Однако в случае AIpro задействован неназванный чип Huawei Ascend с четырьмя 64-битными ядрами и встроенным ИИ-ускорителем, обеспечивающим производительность до 8/20 TOPS на операциях INT8 (FP16).

Источник изображения: Orange Pi

Объём оперативной памяти LPDDR4X-3200 может составлять 8 или 16 Гбайт. Возможна установка флеш-модуля eMMC 5.1 вместимостью 32, 64, 128 или 256 Гбайт, карты microSD и SSD формата M.2 2280 (SATA или NVMe). В оснащение включены сетевой контроллер 1GbE, адаптеры Wi-Fi 5 (диапазоны 2,4 и 5 ГГц) и Bluetooth 4.2. Размеры составляют 107 × 68 мм, вес — 82 г.

Источник изображения: Orange Pi

Присутствуют два интерфейса HDMI 2.0 с поддержкой видео 4K@60, два порта USB 3.0 Type-A, гнездо RJ-45, стандартный 3,5-мм аудиоразъём и два порта USB Type-C, один из которых служит для подачи питания. Могут быть задействованы интерфейсы MIPI DSI (2 линии) и MIPI CSI (2 × 2 линии). Кроме того, имеется 40-контактная колодка GPIO с поддержкой UART, I2C, SPI, I2S, PWM.

Для Orange Pi AIpro заявлена совместимость с Ubuntu и openEuler. Новинку можно заказать по цене около $126 за версию с 8 Гбайт ОЗУ и $162 за модификацию с 16 Гбайт памяти. Поставки начнутся 5 января 2024 года.

В связи с введением новых экспортных ограничений США, лишивших китайские компании доступа даже к ускорителям A800 и H800, предназначенным для китайского рынка, им пришлось искать альтернативу у отечественных производителей. По данным Reuters, техногигант Baidu, один из ведущих игроков на китайском рынке ИИ, ещё в августе, то есть за месяц до запрета США, разместил заказ на поставку ИИ-ускорителей у Huawei Technologies.

По словам источника Reuters, Baidu заказала для установки в 200 серверах 1600 ИИ-ускорителей Ascend 910B, разработанных Huawei разработала в качестве альтернативы NVIDIA A100. Причём к октябрю Huawei поставила порядка 1000 ускорителей. По данным источника, стоимость контракта составляет ¥450 млн ($61,83 млн), срок выполнения — до конца года. Сумма контракта сравнительно небольшая по сравнению с обычными закупками чипов китайских компаний у NVIDIA, но это может превратиться в тенденцию, грозящую американскому чипмейкеру потерей крупных клиентов.

Впрочем, уже сейчас NVIDIA, по данным The Wall Street Journal, пришлось из-за введения санкций разорвать контракты на поставку ускорителей китайским фирмам в следующем году на сумму более $5 млрд. А для Huawei это открывает доступ к рынку объёмом $7 млрд. Как сообщается, чипы Huawei уступают по производительности ускорителям NVIDIA, но для китайского рынка считаются лучшим вариантом. «Они заказали 910B, чтобы подготовиться к будущему, когда у них, возможно, больше не будет возможности делать закупки у NVIDIA», — сообщил источник Reuters.

Изображение: Huawei

Официально ускоритель Ascend 910B, представляющий собой следующее поколение 7-нм чипа Ascend 910, анонсирован не был, хотя некоторые упоминания о нём встречаются в публичных комментариях китайских компаний и учёных, а также в технических руководствах на веб-сайте Huawei. Председатель китайского IT-гиганта iFlyTek похвалил 910B, который, по его словам, «в основном такой же как NVIDIA A100», отметив, что iFlyTek сотрудничает с Huawei в деле разработки аппаратного обеспечения.

Компания Exascend анонсировала SSD серий PE3 и PI3, рассчитанные на использование в сферах транспорта, телекоммуникаций, периферийных вычислений, а также в системах хранения корпоративного уровня. Изделия выполнены на основе флеш-памяти 3D TLC, а для обмена данными служит интерфейс PCIe 3.0 (NVMe 1.2).

Семейство PE3 включает модели Streaming, Pro и Max в форматах U.2 и М.2 2280, а также Boot стандарта М.2 2280. Все они рассчитаны на работу при температуре от 0 до +40 °C. Показатель MTBF достигает 2 млн часов; гарантия производителя — пять лет.

Изделия Streaming имеют вместимость от 240 Гбайт до 15,36 Тбайт. Заявленная скорость последовательного чтения и записи информации достигает 3500 Мбайт/с. Показатель IOPS (количество операций ввода/вывода в секунду) — до 700 000 при произвольном чтении и до 95 000 при произвольной записи. Величина DWPD (полных перезаписей в сутки) равна 0,6.

Источник изображения: Exascend

Накопители Pro и Max имеют ёмкость соответственно от 480 Гбайт до 3,84 Тбайт и от 480 Гбайт до 1,92 Тбайт. В первом случае значение DWPD составляет 1,5, во втором — 5. Скорость последовательного чтения у всех устройств достигает 3100 Мбайт/с, скорость последовательной записи — 1600 Мбайт/с. Показатель IOPS — до 700 000 при произвольном чтении и до 65 000 при произвольной записи.

Решения Boot имеют вместимость 240–960 Гбайт и величину DWPD, равную 1. Скорость чтения и записи — до 3200 Мбайт/с и 2000 Мбайт/с. Показатель IOPS составляет до 700 000 при произвольном чтении и до 30 000 при произвольной записи.

Накопители серии PI3, в свою очередь, обладают расширенным диапазоном рабочих температур — от -40 до +85 °C. Они представлены в версиях ёмкостью от 240 Гбайт до 7,68 Тбайт. Скорость последовательного чтения и записи достигает 3500 Мбайт/с. Показатель IOPS — до 310 000 при произвольном чтении и до 245 000 при произвольной записи. Показатель MTBF равен 2 млн часов; гарантия — три года.

Компания Exascend анонсировала SSD семейств SI3 и SE3 на основе чипов флеш-памяти 3D TLC. Изделия используют интерфейс SATA-3, а вместимость варьируется от 120 Гбайт до 7,68 Тбайт. Новинки доступны в разных форм-факторах — М.2 и SFF.

Накопители серии SI3 отличаются расширенным диапазоном рабочих температур — от -40 до +85 °C. Они подходят для таких областей, как телекоммуникации, периферийные вычисления, аэрокосмические и транспортные системы. Устройства предлагаются в вариантах исполнения M.2 2280, 2260, 2242, а также mSATA и SFF. Заявленная скорость последовательного чтения информации достигает 550 Мбайт/с, скорость последовательной записи — 535 Мбайт/с. Показатель IOPS при произвольном чтении данных блоками по 4 Кбайт составляет до 85 000, при произвольной записи — до 70 000.

Источник изображений: Exascend

Решения семейства SE3 (М.2 2280 и SFF), в свою очередь, оптимизированы под корпоративные нагрузки. Диапазон рабочих температур простирается от 0 до +70 °C. Скорость последовательного чтения и записи — до 550 и 535 Мбайт/с соответственно. Значение IOPS в зависимости от модификации варьируется от 80 000 до 95 000 при чтении и от 16 000 до 50 000 при записи.

Для устройств заявлена поддержка TCG Opal, шифрования AES-256, средств управления питанием Power Tuning и технологии оптимизации производительности SuperCruise. Величина MTBF достигает 2 млн часов. На накопители серий SI3 и SE3 предоставляется гарантия сроком три и пять лет соответственно.

Глубокое машинное обучение ― это сравнительно новая область приложения для вычислительных архитектур. Как всё новое, ML заставляет искать альтернативные пути решения задач. В этом поиске китайские разработчики оказались на равных и даже в привилегированных условиях, что привело к появлению в Китае мощнейших ИИ-платформ.

Как всем уже известно, на конференции Hot Chips 31 компания Huawei представила самый мощный в мире ИИ-процессор Ascend 910. Процессоры для ИИ каждый разрабатывает во что горазд, но все разработчики сравнивают свои творения с ИИ-процессорами компании NVIDIA (а NVIDIA с процессорами Intel Xeon). Такова участь пионера. NVIDIA одной из первых широко начала продвигать свои модифицированные графические архитектуры в качестве ускорителей для решения задач с машинным обучением.

Гибкость GPU звездой взошла над косностью x86-совместимой архитектуры, но во время появления новых подходов и методов тренировки машинного обучения, где пока много открытых дорожек, она рискует стать одной из немногих. Компания Huawei со своими платформами вполне способна стать лучшей альтернативой решениям NVIDIA. Как минимум, это произойдёт в Китае, где Huawei готовится выпускать и надеется найти сбыт для миллионов процессоров для машинного обучения.

Мы уже публиковали анонс наиболее мощного ускорителя для ML чипа Huawei Ascend 910. Сейчас посмотрим на это решение чуть пристальнее. Итак, Ascend 910 выпускается компанией TSMC с использованием второго поколения 7-нм техпроцесса (7+ EUV). Это техпроцесс характеризуется использованием сканеров EUV для изготовления нескольких слоёв чипа. На конференции Huawei сравнивала Ascend 910 с ИИ-решением NVIDIA на архитектуре Volta, выпущенном TSMC с использованием 12-нм FinFET техпроцесса. Выше на картинке приводятся данные для Ascend 910 и Volta, с нормализацией к 12-нм техпроцессу. Площадь решения Huawei на кристалле в 2,5 раза больше, чем у NVIDIA, но при этом производительность Ascend 910 оказывается в 4,7 раза выше, чем у архитектуры Volta.

Также на схеме видно, что Huawei заявляет о крайне высокой масштабируемости архитектуры. Ядра DaVinci, лежащие в основе Ascend 910, могут выпускаться в конфигурации для оперирования скалярными величинами (16), векторными (16 × 16) и матричными (16 × 16 × 16). Это означает, что архитектура и ядра DaVinci появятся во всём спектре устройств от IoT и носимой электроники до суперкомпьютеров (от платформ с принятием решений до машинного обучения). Чип Ascend 910 несёт матричные ядра, как предназначенный для наиболее интенсивной работы.

Ядро DaVinci в максимальной конфигурации (для Ascend 910) содержит 4096 блоков Cube для вычислений с половинной точностью (FP16). Также в ядро входят специализированные блоки для обработки скалярных (INT8) и векторных величин. Пиковая производительность Ascend с 32 ядрами DaVinci достигает 256 терафлопс для FP16 и 512 терафлопс для целочисленных значений. Всё это при потреблении до 350 Вт. Альтернатива от NVIDIA на тензорных ядрах способна максимум на 125 терафлопс для FP16. Для решения задач ML чип Huawei оказывается в два раза производительнее.

Помимо ядер DaVinci на кристалле Ascend 910 находятся несколько других блоков, включая контроллер памяти HBM2, 128-канальный движок для декодирования видеопотоков. Мощный чип для операций ввода/вывода Nimbus V3 выполнен на отдельном кристалле на той же подложке. Рядом с ним для механической прочности всей конструкции пришлось расположить два кристалла-заглушки, каждый из которых имеет площадь 110 мм². С учётом болванок и четырёх чипов HBM2 площадь всех кристаллов достигает 1228 мм².

Для связи ядер и памяти на кристалле создана ячеистая сеть в конфигурации 6 строк на 4 колонки со скоростью доступа 128 Гбайт/с на каждое ядро для одновременных операций записи и чтения. Для соединения с соседними чипами предусмотрена шина со скоростью 720 Гбит/с и два линка RoCE со скоростью 100 Гбит/с. К кеш-памяти L2 ядра могут обращаться с производительностью до 4 Тбайт/с. Скорость доступа к памяти HBM2 достигает 1,2 Тбайт/с.

В каждый полочный корпус входят по 8 процессоров Ascend 910 и блок с двумя процессорами Intel Xeon Scalable. Спецификации полки ниже на картинке. Решения собираются в кластер из 2048 узлов суммарной производительностью 512 петафлопс для операций FP16. Кластеры NVIDIA DGX Superpod обещают производительность до 9,4 петафлопс для сборки из 96 узлов. В сравнении с предложением Huawei это выглядит бледно, но создаёт стимул рваться вперёд.