Разработчики из Китая, как сообщает TrendForce, добились существенных успехов в создании ускорителей. Речь идёт о решениях на основе ASIC и GPU, призванных составить конкуренцию картам NVIDIA, поставки которых в КНР ограничены в связи с американскими санкциями. Разработкой ИИ-ускорителей в КНР, помимо Huawei HiSilicon с её решениями Ascend, занимаются несколько других крупных игроков, быстро укрепляющих позиции. В их число входят Moore Threads, MetaX и Cambricon.

Генеральный директор NVIDIA Дженсен Хуанг (Jensen Huang) недавно отметил значительные достижения Китая в плане разработки и производства микросхем, заявив, что страна отстаёт от США на «наносекунды». По его словам, доля NVIDIA на китайском рынке ИИ-ускорителей за последние годы сократилась с 95 % до 50 %. Хуан отмечает, что более половины мировых ИИ-исследователей сосредоточены в Китае, что говорит о большом потенциале страны в соответствующей области.

Moore Threads заявляет, что является единственной в Китае компанией, которая в настоящее время серийно производит полнофункциональные GPU. Эта фирма уже представила четыре продуктовых семейства, включая Sudi (2021 год), Chunxiao (2022), Quyuan (2023) и Pinghu (2024). Решения первых двух серий применяются в настольных системах и рабочих станциях, двух других — в составе ИИ-платформ. Отмечается, что основатель и генеральный директор Moore Threads Джеймс Чжан Цзяньчжун (James Zhang Jianzhong) в течение 14 лет работал в NVIDIA, в частности, занимал должность вице-президента и генерального менеджера этой компании по операциям в Китае.

Источник изображения: Moore Threads

В MetaX трудятся выходцы из AMD. Так, основатель MetaX Чэнь Вэйлян (Chen Weiliang) с 2007 года работал в качестве старшего директора в шанхайском представительстве AMD, откуда ушел в 2020-м. Технические директора MetaX Пэн Ли (Peng Li) и Ян Цзянь (Yang Jian) также имеют опыт работы в AMD. Компания MetaX предлагает ускорители для обучения ИИ-моделей и инференса, а также GPU-серверы. В 2024 году на эти продукты пришлось соответственно 68,99 % и 28,29 % от общей выручки компании. Однако, ни MetaX, ни Moore Threads пока не вышли на уровень прибыльности.

В свою очередь, фирма Cambricon, основанная в 2016 году братьями Чэнь Юньцзи (Chen Yunji) и Чэнь Тяньши (Chen Tianshi), в I половине 2025 года показала чистую прибыль в размере примерно ¥1 млрд ($140 млн) против ¥530 млн убытков годом ранее. В сентябре Cambricon получила одобрение со стороны регулирующих органов КНР на размещение акций на сумму ¥3,99 млрд (около $559,6 млн). Компания прогнозирует, что её выручка в текущем году увеличится на 317–483 % и составит от ¥5 до ¥7 млрд. Компания проектирует свой флагманский ИИ-ускоритель Siyuan 690, который, как ожидается, по производительности будет сопоставим с NVIDIA H100.

Китайский телеком-гигант China Unicom построил «огромный» дата-центр на основе ИИ-ускорителей производства КНР. Новый ЦОД использует чипы, разработанные Alibaba и другими местными компаниями, сообщает Reuters. Объект находится в Синине (Xining) провинции Цинхай (Qinghai). В его строительство вложено порядка $390 млн. Подробные данные о мощности ЦОД пока отсутствуют.

По словам местных властей, после полного завершения строительства вычислительная мощность составит 20 Эфлопс, пока же речь идёт о 3,579 Пфлопс. За работу отвечают 23 тыс. чипов местного производства. Точность вычислений не указывается, но вряд ли речь идёт об FP64. По имеющимся данным 72 % чипов разработаны подразделением T-Head компании Alibaba, прочие предоставили компании MetaX, Biren Tech и Zhonghao Xinying. В будущем планируется использовать и чипы стартапов Tecorigin, Moore Threads и Enflame.

T-Head также разработала 400-Вт ускорители PPU, имеющие 96 Гбайт HBM2e, интерфейс PCIe 5.0 и 700-Гбайт/с межчиповый интерконнект. Благодаря этому они могут стать конкурентами популярным в Китае, специально ослабленным для местного рынка чипам NVIDIA H20. Ранее в этом месяце Alibaba заявила о разработке нового ускорителя для ИИ-инференса. Сейчас чип проходит тестирование и выпускается китайским производителем. China Unicom получила 16 384 T-Head PPU общей производительностью 1,945 Эфлопс.

Источник изображения: Wang shaohong/unsplash.com

Китай активно продвигает широкое внедрение чипов местного производства. 17 сентября интернет-регулятор из КНР запретил ключевым IT-гигантам тестировать и размещать заказы на разработанный специально для Китая ускоритель NVIDIA RTX Pro 6000D. За несколько дней до этого по итогам расследования Государственного управления по регулированию рынка Китая (SAMR) до власти обвинили NVIDIA в нарушении антимонопольного законодательства при покупке Mellanox.

Ограничения последовали со стороны китайских властей после того, как местное правительство издало директиву, обязывающую государственные компании, действующие на рынке ЦОД, закупать более 50 % чипов у местных производителей.

В Китае вынесли запрет компаниям, включая ByteDance и Alibaba, на тестирование и размещение заказов на разработанный специально для Поднебесной ускоритель NVIDIA RTX Pro 6000D, сообщила в среду Financial Times со ссылкой на источники, знакомые с ситуацией. За несколько дней по итогам расследования Государственного управления по регулированию рынка Китая (SAMR) до власти обвинили NVIDIA в нарушении антимонопольного законодательства при покупке Mellanox.

По словам источника, запрет Государственной канцелярии интернет-информации КНР (CAC) поступил после проведения сравнения чипов, изготавливаемых компаниями Huawei и Cambricon, а также Alibaba и Baidu, с продукцией NVIDIA. В итоге регулятор пришёл к выводу, что китайские ИИ-чипы достигли уровня, сопоставимого или превосходящего уровень продукции NVIDIA, разрешённой к экспорту в Китай. В прошлом месяце Financial Times сообщила о планах китайских производителей чипов утроить объём производства ИИ-ускорителей в стране в следующем году.

Источник изображения: NVIDIA | NVIDIA RTX PRO 6000 Blackwell Server Edition

Ускоритель RTX Pro 6000D был представлен в июле во время визита гендиректора компании Дженсена Хуанга (Jensen Huang) в Пекин. Тогда же NVIDIA заявила, что Вашингтон ослабляет ранее введенный запрет на экспорт в страну ускорителей H20. Financial Times сообщила, что китайские регулирующие органы в ответ на ослабление ограничений со стороны США ужесточили контроль закупок H20, требуя от компаний предоставить обоснование решения купить эти чипы вместо отечественной продукции. При этом RTX Pro 6000D спросом не пользуется.

Комментируя запрет Пекина, Дженсен Хуанг заявил, что разочарован этим. «Мы можем служить рынку, только если страна этого хочет», — сказал он. «Мы рекомендовали всем финансовым аналитикам не включать Китай» в финансовые прогнозы, заявил Хуанг, пояснив, что этот вопрос «в значительной степени будет обсуждаться правительствами США и Китая».

Крупнейший немецкий разработчик ПО — компания SAP объявила о намерении инвестировать в течение 10 лет более €20 млрд ($23,3 млрд) в свою суверенную облачную инфраструктуру в Европе, сообщает CNBC.

Компания предложит IaaS на базе собственных дата-центров. Дополнительно будет представлена новая локальная опция, которая позволит пользоваться инфраструктурой SAP в дата-центрах заказчика. В Германии также будет доступно облако Delos Cloud. Цель новой инициативы — обеспечить хранение данных клиентов на территории Евросоюза для соблюдения правил защиты местных данных, включая GDPR. По словам SAP, инновации и суверенитет нераздельны. Он добавил, что европейским компаниям важно получить доступ к новейшим технологиям вроде ИИ в «контексте полного суверенитета».

За последний год тема суверенитета стала особенно популярной, на фоне геополитических противоречий компаниям пришлось провести переоценку зависимости от иностранных технологий. Государства всё чаще стараются полагаться на локальную инфраструктуру, необходимую для обучения и эксплуатации ИИ. В результате AWS, Google и Microsoft объявили о новых сервисах в сфере суверенных облаков, призванных хранить европейские данные в ЕС. При этом Microsoft и Google выразили готовность защищать интересы европейских клиентов перед американским правительством.

Источник изображения: Carl Gruner/unsplash.com

ЕС считает развитие ИИ одним из приоритетов региона — блок стремиться составить конкуренцию США и Китаю, от которых пока значительно отстаёт в этом отношении. Ранее Еврокомиссия рассказала о планах инвестировать €20 млрд в создание «ИИ-гигабафрик», оснащённых мощнейшими ИИ-суперкомпьютерами. В SAP объявили, что тесно участвуют в создании таких фабрик, но компания не будет в проекте ведущим партнёром.

Представитель SAP добавил, что её инвестиции в объёме более €20 млрд, предусматриваемые для европейского суверенного облака, не повлияют на капитальные затраты компании на следующий год, они уже заложены в её финансовые планы. SAP является одним из ключевых европейских игроков в IT-сфере — компания стала самым дорогим публичным бизнесом в Европе. Примечательно, что ещё в июне 2025 года сообщалось, что SAP не видит смысла в строительстве Европой собственной облачной инфраструктуры в противовес американским гиперскейлерам.

В конце мая появилась новость, что Евросоюз готов признать, что отказаться от американских облаков «почти невозможно», а в июле Synergy Research Group заявила, что доля европейских облачных провайдеров на местном рынке снизилась до 15 % и остаётся на этом уровне годами.

На фоне нарастающего давления со стороны китайских властей, стремящихся избавиться от зависимости от ИИ-чипов NVIDIA и и других западных аналогов, Alibaba разработала собственный ИИ-ускоритель. В пятницу появились данные, что новейший чип китайского IT-гиганта ориентирован на инференс, сообщает The Register.

Подразделения Alibaba T-Head довольно давно работает над собственными ИИ-решениями. В 2019 году он представила вариант Hanguang 800, но в отличие от современных моделей NVIDIA и AMD, он в первую очередь предназначен для классических ML-моделей машинного обучения (таких как ResNet), а не для современных больших языковых моделей (LLM). Утверждается, что новый чип будет справляться с более разнообразными нагрузками. В обозримом будущем для обучения Alibaba, вероятно, будет по-прежнему использовать ускорители NVIDIA.

По имеющимся данным, в отличие от ускорителей Huawei Ascend, продукт Alibaba совместим с программной платформой NVIDIA, что позволяет лишь немного переработать используемый код. При этом использование инструментов CUDA не является необходимым для инференса. Alibaba, вероятно, ориентируется на более высокоуровневые варианты вроде PyTorch или TensorFlow.

Так или иначе, чип придётся выпускать в Китае из-за санкций США. Кто именно займётся непосредственно выпуском не указывается, но весьма вероятно, что речь идёт о SMIC. Кроме того, Китаю запрещено продавать высокоскоростную память HBM2e и более новые версии — если они уже не интегрированы в готовый ускоритель. Это значит, что Alibaba или будет использовать «медленную» память GDDR или LPDDR, а также накопленные запасы HBM, пока не появятся собственные аналоги.

Источник изображения: Alibaba

Новости об очередных полупроводниках китайского производства появились на фоне призывов китайского правительства не использовать ускорители NVIDIA H20 из соображений безопасности. Впрочем, NVIDIA, которой не так давно вновь разрешили поставлять H20 в Китай, все обвинения решительно отрицает. По некоторым данным, ведётся разработка нового ускорителя семейства Blackwell, специально для Китая. Впрочем, в текущем квартале компания всё равно не рассчитывает на доходы в КНР, поскольку механизмы возобновления продажи и взимания 15-процентной экспортной пошлины ещё не отработаны.

Тем временем китайские лидеры ИИ-отрасли ищут альтернативы продуктам компании. DeepSeek переориентировала свои модели на использование нового поколения китайских чипов. Компания не назвала поставщика, но, по некоторым данным, перенести обучение на Ascend не удалось. Впрочем, сама Huawei старается ускорить и инференс.

Стартап Enflame, поддерживаемый Tencent, разрабатывает новый ускоритель L600, который получит 144 Гбайт (3,6 Тбайт/с) и поддержку FP8-вычислений. MetaX анонсировала модель C600 со 144 Гбайт HBM3e, но производство, вероятно, будет ограничено имеющимися резервами памяти. Наконец, Cambricon Technologies также работает над собственным ускорителем Siyuan 690, который, как ожидается, будет лучше NVIDIA H100.

Kunlunxin, «дочка» китайского IT-гиганта Baidu, получила от China Mobile заказ на ИИ-ускорители, совместимые с программной экосистемой NVIDIA CUDA, на сумму более ¥1 млрд ($140 млн), сообщает передаёт Reuters. Чипы достанутся поставщикам China Mobile, включая H3C и ZTE. Кроме того, компания закупит ускорители у Huawei. Заключение контракта — часть более широкой стратегии Китая по обретению технологического суверенитета в ИИ-секторе.

В апреле Baidu успешно развернула кластер и 30 тыс. чипов собственной разработки — ИИ-ускорителей третьего поколения P800 Kunlun, способных обучать модели уровня DeepSeek. Технологический прогресс подчеркивает потенциал китайских разработок и позиционирует Baidu и Kunlunxin как ключевых игроков на рынке ИИ-ускорителей.

Успех Kunlunxin и других китайских бизнесов может иметь важные последствия для мировой индустрии ИИ-ускорителей, в которой пока доминирует NVIDIA. По мере прогресса китайских технологий, позиции NVIDIA могут оказаться под вопросом, особенно в Поднебесной и на других рынках.

Источник изображения: Kunlunxin

Развитие технологий происходит на фоне технологического соперничества между США и Китаем. Практически сразу после послаблений США на поставки H20 Китай развернул активную кампанию против этих чипов, поэтому NVIDIA затормозила выпуск H20 и готовит для местного рынка другой, более мощный ускоритель. Глава NVIDIA Дженсен Хуанг (Jensen Huang) критиковал запреты на экспорт ИИ-полупроводников в Китай, подчёркивая, что из-за этого прогресс собственных технологий в КНР только ускорится.

Участники проекта Barcelona Zettascale Laboratory (BZL), координируемого Барселонским суперкомпьютерным центром (BSC) в Испании, по сообщению ресурса EETimes, достигли фазы Tape-out в рамках разработки европейских процессоров Cinco Ranch на открытой архитектуре RISC-V.

Tape-out — это финальная стадия проектирования интегральных схем или печатных плат перед их отправкой в производство. Данный процесс предполагает перенос цифрового макета чипа на фотошаблон для последующего изготовления. Производством изделий займётся предприятие Intel Foundry с применением техпроцесса Intel 3.

Cinco Ranch представляет собой пятое поколение чипов серии Lagarto. По сути, это «система на кристалле» (SoC) промышленного класса с высокой энергетической эффективностью. Конструкция чипа включает три отдельных специализированных ядра, каждое из которых оптимизировано под определённые вычислительные задачи. В частности, присутствует ядро Sargantana (RV64G) с однопоточным выполнением инструкций по порядку. Кроме того, имеется двухпоточное ядро Lagarto Ka с внеочередным исполнением машинных инструкций. Довершает картину высокопроизводительное 6-поточное ядро Lagarto Ox (RV64GC) с внеочередным исполнением инструкций. Нужное ядро выбирается в момент загрузки системы.

Источник изображения: BSC

Решение Cinco Ranch содержит 16-канальный векторный блок Vitruvius++ VPU и трёхуровневую систему кеша. Реализована поддержка памяти DDR5 и интерфейса PCIe 3.0. Площадь чипа составляет 16 мм².

Главной целью проекта BZL является разработка суверенных суперкомпьютерных технологий в Европе. Предполагается, что создаваемые чипы найдут применение в различных областях, включая НРС-платформы, автономные транспортные средства, системы ИИ и пр. После всестороннего тестирования чипов Cinco Ranch будет освоено их массовое производство.

Южнокорейская компания Rebellions, занимающаяся созданием специализированных ИИ-чипов, объявила о сотрудничестве с американским разработчиком процессоров, микроконтроллеров и телекоммуникационных изделий Marvell Technology. Цель партнёрства — выпуск высокопроизводительных и энергоэффективных ИИ-решений для суверенных платформ в Азиатско-Тихоокеанском регионе и на Ближнем Востоке.

Стартап Rebellions основан в 2020 году. Компания проектирует чипы для инференса, способные обеспечить энергоэффективность и высокую производительность при небольших задержках. В январе 2024 года Rebellions провела раунд финансирования Series B, в ходе которого на развитие было привлечено $124 млн. Позднее стартап получил $15 млн от Wa’ed Ventures — венчурного подразделения саудовского нефтегазового и химического гиганта Aramco. Кроме того, фирма Rebellions объявила о слиянии с разработчиком ИИ-чипов Sapeon Korea, который был выделен из SK Telecom в 2016 году.

Источник изображения: Rebellions

В заявлении Rebellions говорится, что инфраструктура ИИ становится всё более важной в плане обеспечения национальной конкурентоспособности. На этом фоне наблюдается переход от стандартизированных архитектур на базе GPU к специализированным системам, построенным с применением ASIC. Такой трансформации способствуют суверенные инициативы и проекты региональных поставщиков облачных услуг, которым требуется инфраструктура, обеспечивающая масштабируемость, эффективность и контроль.

Предполагается, что новое партнёрство позволит Rebellions разрабатывать кастомизированные ИИ-ускорители с использованием специализированных платформ Marvell. При этом будут использоваться передовые технологии упаковки чипов, высокоскоростные SerDes-блоки и межкомпонентные соединения. Новые чипы, как ожидается, обеспечат возможность высокопроизводительного и энергоэффективного инференса.

В целом, сотрудничество позволит объединить достижения Rebellions в области разработки ИИ-решений с передовыми технологиями интеграции кремниевых компонентов Marvell для создания специализированной инфраструктуры ИИ, отвечающей потребностям государственных организаций.

Как свидетельствуют новые данные Synergy Research Group, европейские операторы облачных сервисов с 2017 по 2024 годы увеличили свои местные доходы более чем втрое. Правда, за тот же период облачный рынок вырос более чем в шесть раз, составив в 2024 году €61 млрд ($70 млрд), сообщает пресс-служба компании.

При этом доля европейских облачных провайдеров на местном рынке снизилась с 29 % в 2017 году до 15 % в 2022 году, и с тех пор сохраняется на одном уровне. Основными бенефициарами стали Amazon (AWS), Microsoft и Google — на эту тройку приходится 70 % рынка региона.

Среди европейских провайдеров лидируют SAP и Deutsche Telekom, но на каждого из них приходится лишь по 2 % европейского рынка. Определённую роль играют и OVHCloud, Telecom Italia, Orange, а также многочисленные игроки национального и регионального масштабов. Оставшаяся часть европейского рынка приходится на мелких облачных провайдеров из США и Азии.

Как утверждают в Synergy, выручка от облачной инфраструктуры (включая IaaS, PaaS и хостинг частных облаков) в I полугодии текущего года составила €36 млрд, а за весь год она вырастет год к году на 24 %.

Большая часть рынка приходится на IaaS- и PaaS-сервисы, и они растут быстрее, чем сегмент частных облаков. Драйвером рынка становится искусственный интеллект (ИИ) — рост генеративных сервисов на основе ИИ, вроде GPUaaS и GenAI PaaS, составляет 140–160 %.

Источник изображения: Synergy Research Group

По статистике Synergy, крупнейшими облачными рынками в регионе являются Великобритания и Германия, но только сейчас крупнейшими рынками с самыми высокими темпами роста названы Ирландия, Испания и Италия.

По словам представителя Synergy Research, на рынке облачных услуг начинающим игрокам приходится делать огромные финансовые ставки, иметь долгосрочное видение инвестиционной политики и грядущих прибылей, а также всё время совершенствовать бизнес. При этом ни одна европейская компания не соответствует этим критериям, и на рынке предсказуемо доминируют американские компании.

Они ежеквартально вкладывают в европейские программы капиталовложения порядка €10 млрд — конкурировать с ними местному бизнесу буквально невозможно. В результате европейские облачные поставщики в основном обслуживают локальные группы клиентов с специфическими для региона потребностями, иногда взаимодействуя с крупными американскими провайдерами. Хотя многие европейские поставщики облачных услуг, вероятно, продолжат расти, вряд ли они смогут существенно изменить положение дел на облачном рынке.

В конце мая эксперты заявили, что европейским пользователям отказаться от американских облаков сегодня уже практически невозможно. Более того, в июне SAP заявила, что не видит смысла в строительстве Европой собственной облачной инфраструктуры.

Между тем, тотальное доминирование американского бизнеса в Европе грозит местным облачным провайдерам серьёзными проблемами. Так, в мае 2025 года сообщалось, что Microsoft всё ещё не создала продукта, удовлетворяющего требованиям соглашения с ассоциацией европейских облачных провайдеров CISPE. В рамках действующей под эгидой CISPE инициативы было решено, что относительно действий компании всё ещё «существуют опасения, хотя предложены меры для исправления». Кроме того, в июле Microsoft признала, что не может гарантировать суверенитет данных в Европе.

Наконец, CISPE подала иск в Европейский суд общей юрисдикции, утверждая, что Еврокомиссия не выдвинула никаких условий, мешающих Broadcom злоупотреблять доминирующим положением на рынке. CISPE заявляет, что доминирование ПО VMware на рынке виртуализации означает, что обновление условий лицензирования затронут практически всех европейских облачных операторов и их пользователей. Год назад CISPE прямо заявила, что новая лицензионная политика Broadcom грозит банкротством небольшим облачным провайдерам.

Компания LG AI Research (ИИ-подразделение LG Group) из Южной Кореи заключила соглашение с южнокорейским стартапом FuriosaAI о выпуске серверов с ИИ-ускорителями RNGD для работы с собственным семейством LLM Exaone, сообщил The Register. Как сообщил генеральный директор FuriosaAI Джун Пайк (June Paik) изданию EE Times, серверы LG с чипами RNGD будут ориентированы на предприятия, использующие модели ExaOne в сфере электроники, финансов, телекоммуникаций и биотехнологий. Серверы поступят в продажу в конце этого года.

«После тщательного тестирования широкого спектра опций мы пришли к выводу, что RNGD — высокоэффективное решение для развёртывания моделей Exaone», — заявил Киджонг Чон (Kijeong Jeon), руководитель подразделения продуктов LG AI Research. «RNGD обеспечивает убедительное сочетание преимуществ: превосходную производительность в реальных условиях, значительное снижение совокупной стоимости владения и удивительно простую интеграцию», — добавил он.

Подобно системам на базе NVIDIA RTX Pro Blackwell, серверы LG RNGD будут включить до восьми ускорителей с интерфейсом PCIe 5.0. Эти системы будут работать на базе того, что FuriosaAI описывает как высокоразвитый программный стек, включающий библиотеку vLLM. LG также предложит собственную платформу агентского ИИ ChatExaone, которая адаптирована для корпоративных сценариев использования. Она объединяет ряд фреймворков для анализа документов, глубоких исследований, анализа данных и RAG.

Источник изображений: FuriosaAI

LG AI Research протестировала работу модели ExaOne-32B на восьмичиповом 4U-сервере c воздушным охлаждением, который был разработан совместно с Supermicro. В 15-кВт стойке можно разместить пять таких серверов. По словам Пайка, LG AI Research протестировала оборудование от нескольких поставщиков оборудования из Южной Кореи и других стран, взяв за основу ускорители NVIDIA A100. «LG AI Research также тестировала облачные решения, но, по их словам, наше решение на данный момент оказалось единственным, отвечающим их требованиям», — сказал Пайк.

Как полагает The Register, выбор для сравнения ускорителя NVIDIA A100, дебютировавшего в 2020 году, а не более свежих моделей, вызван тем, что LG AI Research больше интересует энергоэффективность оборудования, чем производительность. И, как отметил Джун Пайк, хотя за пять лет с момента появления A100 ускорители NVIDIA, безусловно, стали мощнее, но произошло это за счёт увеличения энергопотребления и площади кристалла.

Сообщается, что LG AI фактически использовала четыре PCIe-ускорителя RNGD, задействовав тензорный параллелизм для запуска модели Exaone 32B с 16-бит точностью. По словам Пайка, у LG были очень чёткие целевые показатели производительности, которые она стремилась достичь при валидации чипа. В частности, ограничения включали время до отдачи первого токена (TTFT) — примерно 0,3 с для небольших запросов на 3 тыс. токенов или 4,5 с для более крупных запросов на 30 тыс. токенов. Результат в 60 токенов/с достигается для контекстного окна размером 4 тыс. токенов или 50 токенов/с для контекстного окна размером 32 тыс. токенов.

По словам Пайка, тесты проводились в режиме BF16, поскольку сравниваемые A100 не имеет встроенной поддержки FP8, так что использование RNGD в FP8-режиме позволит удвоить эффективность инференса и снизить TTFT. Кроме того, сервер продемонстрировал в 2,25 раза более высокую производительность инференса LLM на Ватт по сравнению с A100, а полная стойка сможет генерировать в 3,75 раза больше токенов, чем стойка с A100 при том же энергопотреблении. Чип FuriosaAI RNGD обеспечивает производительность 512 Тфлопс (FP8) при TDP 180 Вт.

В отличие от ускорителей NVIDIA, оснащённых высокоскоростным интерконнектом NVLink (600 Гбайт/с), FuriosaAI использует интерфейс PCIe 5.0 (128 Гбайт/с). По словам FuriosaAI, чтобы избежать узких мест и накладных расходов, связанных с интерконнектом, компилятор компании помогает оптимизировать процесс обмена данными и собственно вычисления.