Признавая, что одних моделей, включая свежие Llama Nemotron с регулируемым «уровнем интеллекта», недостаточно для развёртывания ИИ на предприятии, NVIDIA анонсировала проект AI-Q Blueprint, представляющий собой фреймворк с открытым исходным кодом, позволяющий разработчикам подключать базы знаний к ИИ-агентам, которые могут действовать автономно.

Blueprint был создан с помощью микросервисов NVIDIA NIM и интегрируется с NVIDIA NeMo Retriever, что упрощает для ИИ-агентов извлечение мультимодальных данных в различных форматах. С помощью AI-Q агенты суммируют большие наборы данных, генерируя токены в 5 раз быстрее и поглощая данные петабайтного масштаба в 15 раз быстрее с лучшей семантической точностью.

Проект основан на новом наборе инструментов NVIDIA AgentIQ для бесшовного, гетерогенного соединения между агентами, инструментами и данными, опубликованном на GitHub. Он представляет собой программную библиотеку с открытым исходным кодом для подключения, профилирования и оптимизации команд агентов ИИ, работающих на основе корпоративных данных для создания многоагентных комплексных (end-to-end) систем. Его можно легко интегрировать с существующими многоагентными системами — как по частям, так и в качестве комплексного решения — с помощью простого процесса адаптации, который обеспечивает полную поддержку.

Набор инструментов AgentIQ также повышает прозрачность с полной отслеживаемостью и профилированием системы, что позволяет организациям контролировать производительность, выявлять неэффективность и иметь детальное представление о том, как генерируется бизнес-аналитика. Эти данные профилирования можно использовать с NVIDIA NIM и библиотекой с открытым исходным кодом NVIDIA Dynamo для оптимизации производительности агентских систем.

Благодаря этим инструментам предприятиям будет проще объединять команды ИИ-агентов в таких решениях, как Agentforce от Salesforce, поиск Atlassian Rovo в Confluence и Jira, а также ИИ-платформа ServiceNow для трансформации бизнеса, чтобы устранить разрозненность, оптимизировать задачи и сократить время ответа с дней до часов. AgentIQ также интегрируется с такими фреймворками и инструментами, как CrewAI, LangGraph, Llama Stack, Microsoft Azure AI Agent Service и Letta, позволяя разработчикам работать в своей предпочтительной среде. Azure AI Agent Service интегрирован с AgentIQ для обеспечения более эффективных агентов ИИ и оркестровки многоагентных фреймворков с использованием семантического ядра, которое полностью поддерживается в AgentIQ.

Возможности ИИ-агентов уже широко используются в различных отраслях. Например, платёжная система Visa использует ИИ-агентов для оптимизации кибербезопасности, автоматизируя анализ фишинговых писем в масштабе. Используя функцию профилирования AI-Q, Visa может оптимизировать производительность и затраты агентов, максимально увеличивая роль ИИ в эффективном реагировании на угрозы, сообщила NVIDIA.

NVIDIA анонсировала новое семейство ИИ-моделей Llama Nemotron с расширенными возможностями рассуждения. Основанные на моделях Llama с открытым исходным кодом от Meta✴ Platforms, модели от NVIDIA предназначены для предоставления разработчикам основы для создания продвинутых ИИ-агентов, которые могут от имени своих пользователей независимо или с минимальным контролем работать в составе связанных команд для решения сложных задач.

«Агенты — это автономные программные системы, предназначенные для рассуждений, планирования, действий и критики своей работы», — сообщила Кари Бриски (Kari Briski), вице-президент по управлению программными продуктами Generative AI в NVIDIA на брифинге с прессой, пишет VentureBeat. «Как и люди, агенты должны понимать контекст, чтобы разбивать сложные запросы, понимать намерения пользователя и адаптироваться в реальном времени», — добавила она. По словам Бриски, взяв Llama за основу, NVIDIA оптимизировала модель с точки зрения требований к вычислениям, сохранив точность ответов.

Источник изображений: NVIDIA

NVIDIA сообщила, что улучшила новое семейство моделей рассуждений в ходе дообучения, чтобы улучшить многошаговые математические расчёты, кодирование, рассуждения и принятие сложных решений. Это позволило повысить точность ответов моделей до 20 % по сравнению с базовой моделью и увеличить скорость инференса в пять раз по сравнению с другими ведущими рассуждающими open source моделями. Повышение производительности инференса означают, что модели могут справляться с более сложными задачами рассуждений, имеют расширенные возможности принятия решений и позволяют сократить эксплуатационные расходы для предприятий, пояснила компания.

Модели Llama Nemotron доступны в микросервисах NVIDIA NIM в версиях Nano, Super и Ultra. Они оптимизированы для разных вариантов развёртывания: Nano для ПК и периферийных устройств с сохранением высокой точности рассуждения, Super для оптимальной пропускной способности и точности при работе с одним ускорителем, а Ultra — для максимальной «агентской точности» в средах ЦОД с несколькими ускорителями.

Как сообщает NVIDIA, обширное дообучение было проведено в сервисе NVIDIA DGX Cloud с использованием высококачественных курируемых синтетических данных, сгенерированных NVIDIA Nemotron и другими открытыми моделями, а также дополнительных курируемых наборов данных, совместно созданных NVIDIA. Обучение включало 360 тыс. часов инференса с использованием ускорителей H100 и 45 тыс. часов аннотирования человеком для улучшения возможностей рассуждения. По словам компании, инструменты, наборы данных и методы оптимизации, используемые для разработки моделей, будут в открытом доступе, что предоставит предприятиям гибкость в создании собственных пользовательских рвссуждающих моделей.

Одной из ключевых функций NVIDIA Llama Nemotron является возможность включать и выключать опцию рассуждения. Это новая возможность на рынке ИИ, утверждает компания. Anthropic Claude 3.7 имеет несколько схожую функциональность, хотя она является закрытой проприетарной моделью. Среди моделей с открытым исходным кодом IBM Granite 3.2 тоже имеет переключатель рассуждений, который IBM называет «условным рассуждением».

Особенность гибридного или условного рассуждения заключается в том, что оно позволяет системам исключать вычислительно затратные этапы рассуждений для простых запросов. NVIDIA продемонстрировала, как модель может задействовать сложные рассуждения при решении комбинаторной задачи, но переключаться в режим прямого ответа для простых фактических запросов.

NVIDIA сообщила, что целый ряд партнёров уже использует модели Llama Nemotron для создания новых мощных ИИ-агентов. Например, Microsoft добавила Llama Nemotron и микросервисы NIM в Microsoft Azure AI Foundry. SAP SE использует модели Llama Nemotron для улучшения возможностей своего ИИ-помощника Joule и портфеля решений SAP Business AI. Кроме того, компания использует микросервисы NVIDIA NIM и NVIDIA NeMo для повышения точности завершения кода для языка ABAP.

ServiceNow использует модели Llama Nemotron для создания ИИ-агентов, которые обеспечивают повышение производительности и точности исполнения задач предприятий в различных отраслях. Accenture сделала рассуждающие модели NVIDIA Llama Nemotron доступными на своей платформе AI Refinery. Deloitte планирует включить модели Llama Nemotron в свою недавно анонсированную платформу агентского ИИ Zora AI. Atlassian и Box также работают с NVIDIA, чтобы гарантировать своим клиентам доступ к моделям Llama Nemotron.

Корпорация Toshiba Electronics Europe GmbH объявила о создании лаборатории инноваций в области жёстких дисков в Дюссельдорфе (Германия). Специалисты HDD Innovation Lab займутся оценкой конфигураций систем на базе HDD для крупных IT-развёртываний, таких как сети хранения данных (SAN), масштабные сетевые хранилища (NAS), платформы видеонаблюдения и облачные сервисы.

Как отмечает Райнер Каезе (Rainer Kaese), старший менеджер по развитию HDD-направления Toshiba, SSD обеспечивают существенные преимущества перед HDD в плане скоростных показателей. Однако при хранении огромных массивов данных, например, для приложений ИИ, формирование систем большой ёмкости на основе SSD оказывается нецелесообразным с финансовой точки зрения: стоимость изделий на базе флеш-памяти примерно в семь раз выше по сравнению с HDD при сопоставимой вместимости.

Источник изображения: Toshiba

Кроме того, по словам Каезе, корпорация Toshiba продемонстрировали, что 60 жёстких дисков в программно-определяемом хранилище ZFS могут заполнить всю пропускную способность сети 100GbE. Таким образом, для определённых типов задач применение HDD оказывается более выгодным, нежели использование дорогостоящих, но скоростных SSD.

Лаборатория HDD Innovation Lab сфокусируется на оценках конфигураций RAID и масштабируемых СХД для корпоративных клиентов, дата-центров и облачных провайдеров. Ключевой особенностью площадки является возможность осуществлять тестирование для различных архитектур. Лаборатория объединяет все основные компоненты СХД на базе жёстких дисков, такие как различные серверы, массивы JBOD, шасси, контроллеры, кабели и сопутствующее ПО. В частности, задействованы одноузловые серверы, поддерживающие до 78 HDD суммарной вместимостью до 2 Пбайт при установке современных накопителей большой ёмкости. Площадка оснащена точным оборудованием для анализа энергопотребления.

Лаборатория займётся выполнением оценочных работ для клиентов и партнёров в Европе и на Ближнем Востоке. Результаты тестирования в виде технических документов и отчётов будут доступны на сайте Toshiba Storage.

Бывший глава Google Эрик Шмидт (Eric Schmidt) опубликовал статью «Стратегия сверхразума» (Superintelligence Strategy), написанную в соавторстве с Дэном Хендриксом (Dan Hendrycks), директором Центра безопасности ИИ, и Александром Вангом (Alexandr Wang), основателем и генеральным директором Scale AI, в которой высказывается мнение о том, что США следует воздержаться от реализации аналога «Манхэттенского проекта» для достижения превосходства в области ИИ, поскольку это спровоцирует упреждающие киберответы со стороны, например, Китая, пишет The Register.

Авторы статьи утверждают, что любое государство, которое создаст супер-ИИ, будет представлять прямую угрозу для других стран, и они, стремясь обеспечить собственное выживание, будут вынуждены саботировать такие проекты ИИ. Любая «агрессивная попытка одностороннего доминирования в области ИИ приведёт к превентивному саботажу со стороны конкурентов», который может быть реализован в виде шпионажа, кибератак, тайных операций по деградации обучения моделей и даже прямого физического удара по ИИ ЦОД.

Авторы считают, что в области ИИ мы уже близки к доктрине взаимного гарантированного уничтожения (Mutual Assured Destruction, MAD) времён Холодной войны. Авторы дали нынешнему положению название «гарантированное взаимное несрабатывание ИИ» (Mutual Assured AI Malfunction, MAIM), при котором проекты ИИ, разрабатываемые государствами, ограничены взаимными угрозами саботажа.

Источник изображения: Igor Omilaev/unsplash.com

Вместе с тем ИИ, как и ядерные программы в своё время, может принести пользу человечеству во многих областях, от прорывов в разработке лекарств до автоматизации процессов производства, использование ИИ важно для экономического роста и прогресса в современном мире. Согласно статье, государства могут выбрать одну из трех стратегий.

• Полное невмешательстве в деятельность разработчиков ИИ, чипов и моделей.
• Всемирный добровольный мораторий, призванный остановить дальнейшее развитие ИИ, либо немедленно, либо после обнаружения определённых опасностей, таких как способность ИИ ко взлому или полностью автономной работе.
• Всеобщая монополия на разработку путём создания международного консорциума на манер ЦЕРН, который возглавит глобальную разработку ИИ.

Комментируя предложение Комиссии по обзору экономики и безопасности США и Китая (USCC) о госфинансирования США своего рода «Манхэттенского проекта» по созданию суперинтеллекта в какому-нибудь укромном уголке страны, авторы статьи предупредили, что Китай отреагирует на этот шаг, что приведёт лишь к длительному дисбалансу сил и постоянной нестабильности.

Источник: Superintelligence Strategy: Expert Version

Авторы статьи считают, что государства должны отдавать приоритет доктрине сдерживания, а не победе в гонке за искусственный сверхразум. MAIM подразумевает, что попытки любого государства достичь стратегической монополии в области ИИ столкнутся с ответными мерами со стороны других стран, а также приведут к соглашениям, направленным на ограничение поставок ИИ-чипов и open source моделей, которые по смыслу будут аналогичны соглашениям о контроле над ядерным оружием.

Чтобы обезопасить себя от атак на государственном уровне с целью замедлить развитие ИИ, в статье предлагается строить ЦОД в удалённых местах, чтобы минимизировать возможный ущерб, пишет Data Center Dynamics. Тот, кто хочет нанести ущерб работе других стран в сфере ИИ, может начать с кибератак: «Государства могут “отравить” данные, испортить веса и градиенты моделей, нарушить работу ПО, которое обрабатывают ошибки ускорителей и управляет питанием и охлаждением…».

Источник: Superintelligence Strategy: Expert Version

Снизить вероятность атак поможет и прозрачность разработок. ИИ можно использовать для оценки безопасности других ИИ-проектов, что позволит избежать атак на «гражданские» ЦОД. Вместе с тем не помешает и прозрачность цепочек поставок. Поскольку ИИ-ускорители существуют в реальном, а не виртуальном мире, отследить их перемещение не так уж трудно. Таким образом, даже устаревшие или признанные негодными чипы не смогут попасть на чёрный рынок — их предлагается утилизировать с той же степенью ответственности, что и химические или ядерные материалы.

Впрочем, соблюдение всех этих рекомендаций не устранит главную проблему — зависимость от Тайваня в плане производства передовых чипов, которая является критической для США, говорят авторы статьи. Поэтому западным странам следует разработать гарантированные цепочки поставок ИИ-чипов. Для этого потребуются значительные инвестиции, но это необходимо для обеспечения конкурентоспособности.

На заключительном этапе азиатского турне глава OpenAI Сэм Альтман (Sam Altman) заявил, что Индия способна стать одним из лидеров в гонке ИИ, особенно — в деле создании малых «рассуждающих» моделей (SLM). Альтман выразил интерес к динамичной экосистеме местных разработчиков, которая может стать ключевым элементом расширения OpenAI, сообщает DigiTimes. По словам Альтмана, Индия стала вторым по величине рынком для компании, поскольку за последний год число пользователей утроилось. Во время визита Альтман встретился с представителями правительства страны.

Хотя затраты на разработку новых моделей по-прежнему высоки, Альтман признал, что прогресс в области ИИ может значительно снизить зависимость от дорогостоящего оборудования, а отдача от вложений в ИИ будет расти экспоненциально. Это приведёт к ежегодному десятикратному снижению стоимости «единиц интеллекта» — условного измерения вычислительной эффективности ИИ. По словам бизнесмена, мир достиг стадии невероятного прогресса в сфере «дистилляции» моделей.

Источник изображения: Shubhangee Vyas/unsplash.com

Хотя обучение даже малых моделей остаётся довольно дорогим, именно небольшие модели с возможностью «рассуждений» приведут буквально к взрыву креативности. И Индия должна быть на переднем крае прогресса. Альтман особенно выделил потенциал проектов в здравоохранении и образовании, где ИИ способен стать движущей силой преобразований. Сейчас индийские компании обратили внимание на открытые модели, включая DeepSeek.

Стоит отметить, что в ходе визита в Индию в июне 2023 года Альтман охарактеризовал шансы страны на создание ИИ-моделей уровня ChatGPT как «совершенно безнадёжные». Теперь же он приятно удивлён достижениями Индии в этой области. Глава OpenAI отдельно пояснил, что прежние высказывания относились к трудностям конкуренции с IT-гигантами при создании экономически эффективных моделей. Альтман отдельно подчеркнул, что стоимость API OpenAI значительно упала, и намекнул, что в будущем тоже возможно появление open source инициатив.

Индия активно продвигает ИИ-проекты в рамках инициативы IndiaAI, подкреплённой инвестициями в объёме ₹103,7 млрд рупий ($1,2 млрд). Местную большую языковую модель (LLM) власти намерены создать в течение десяти месяцев. Представители Министерства коммуникаций и информационных технологий Индии заявили, что создание базовой структуры уже завершено, теперь усилия разработчиков направлены на создание вариантов моделей, соответствующих уникальным языковым и культурным требованиям страны.

Китайский стартап DeepSeek наделал много шума в Кремниевой долине, анонсировав «рассуждающую» ИИ-модель DeepSeek R1 c 671 млрд параметров. Утверждается, что при её обучении были задействованы только 2048 ИИ-ускорителей NVIDIA H800, а затраты на данные работы составили около $6 млн. Это бросило вызов многим западным конкурентам, таким как OpenAI, а акции ряда крупных ИИ-компаний начали падать в цене. Однако, как сообщает ресурс SemiAnalysis, фактические расходы DeepSeek на создание ИИ-инфраструктуры и обучение нейросетей могут быть гораздо выше.

Стартап DeepSeek берёт начало от китайского хедж-фонда High-Flyer. В 2021 году, ещё до введения каких-либо экспортных ограничений, эта структура приобрела 10 тыс. ускорителей NVIDIA A100. В мае 2023 года с целью дальнейшего развития направления ИИ из High-Flyer была выделена компания DeepSeek. После этого стартап начал более активное расширение вычислительной ИИ-инфраструктуры.

По данным SemiAnalysis, на сегодняшний день DeepSeek имеет доступ примерно к 10 тыс. изделий NVIDIA H800 и 10 тыс. NVIDIA H100. Кроме того, говорится о наличии около 30 тыс. ускорителей NVIDIA H20, которые совместно используются High-Flyer и DeepSeek для обучения ИИ, научных исследований и финансового моделирования. Таким образом, в общей сложности DeepSeek может использовать до 50 тыс. ускорителей NVIDIA при работе с ИИ, что в разы больше заявленной цифры в 2048 ускорителей.

Источник изображения: SemiAnalysis

Кроме того, SemiAnalysis сообщает, что общие капитальные затраты на ИИ-серверы для DeepSeek составили около $1,6 млрд, тогда как операционные расходы могут достигать $944 млн. Это подрывает заявления о том, что DeepSeek заново изобрела процесс обучения ИИ и инференса с существенно меньшими инвестициями, чем лидеры отрасли. Цифра в $6 млн не учитывает затраты на исследования, тюнинг модели, обработку данных и пр. На самом деле, как подчёркивается, DeepSeek потратила более $500 млн на разработки с момента своего создания.

И всё же DeepSeek имеет ряд преимуществ перед другими участниками глобального ИИ-рынка. В то время как многие ИИ-стартапы полагаются на внешних поставщиков облачных услуг, DeepSeek эксплуатирует собственные дата-центры, что позволяет быстрее внедрять инновации и полностью контролировать разработку, оптимизируя расходы. Кроме того, DeepSeek остаётся самофинансируемой компанией, что обеспечивает гибкость и позволяет более оперативно принимать решения.

Плюс к этому DeepSeek нанимает специалистов исключительно из Китая, уделяя особое внимание не формальным записям в аттестатах, а практическим навыкам работы и способностям эффективно выполнять поставленные задачи. Некоторые ИИ-исследователи в DeepSeek зарабатывают более $1,3 млн в год, что говорит об их высочайшей квалификации.

Ряд европейских технологических организаций, по сообщению ресурса ITPro, объединили усилия с целью создания суверенной облачной платформы, призванной обеспечить переносимость и совместимость между сервисами различных поставщиков облачных услуг. Проект получил название Virt8ra.

В инициативе принимают участие Arsys, BIT, Гданьский политехнический университет (Gdańsk Tech), Infobip, IONOS, Kontron, Mondragon и Oktawave, а координатором выступает OpenNebula Systems. Вычислительные мощности и ресурсы хранения данных планируется предоставлять во многих странах Евросоюза, включая Хорватию, Нидерланды, Польшу, Германию, Словению и Испанию.

«Благодаря этому сотрудничеству мы вносим вклад в укрепление цифрового суверенитета Европы и стимулируем инновации на всём континенте», — отметил Йоже Орехар (Jože Orehar), руководитель подразделения облачных платформ Kontron.

Virt8ra является частью масштабной программы IPCEI-CIS (Important Project of Common European Interest on Next Generation Cloud Infrastructure and Services) — это европейский проект развития облачной инфраструктуры и услуг следующего поколения. Инициатива, одобренная Европейской комиссией в декабре 2023 года, поддерживается 12 государствами — членами ЕС. Проект направлен на стимулирование исследований и увеличение инвестиций в технологии периферийных и облачных вычислений в ЕС, а также на создание децентрализованной периферийной инфраструктуры.

Источник изображения: OpenNebula Systems

В рамках Virt8ra более 30 европейских компаний разрабатывают стек ПО с открытым исходным кодом для виртуализации. Целью является создание надёжной системы для управления цифровыми инфраструктурами, которая предоставит европейским предприятиям и государственным организациям улучшенную гибкость, технологический суверенитет и возможность получить полный контроль над своими IT-средами без ограничений, связанных с действующими моделями лицензирования и поддержки.

Инфраструктура Virt8ra рассматривается как способ снижения зависимости компаний и госструктур Евросоюза от гиперскейлеров и облачных провайдеров из США. Текущая версия платформы поддерживает централизованное управление физическими ресурсами, виртуальными машинами и кластерами Kubernetes, а также обеспечивает возможность миграции, что позволяет клиентам развёртывать, запускать и переносить приложения между разными регионами и поставщиками облачных услуг.

Облачный провайдер DigitalOcean представил платформу GenAI, которая позволяет использовать базовые модели от сторонних поставщиков для создания и развёртывания агентов ИИ за считанные минуты без необходимости глубоких знаний в области ИИ или машинного обучения. Как сообщает DigitalOcean, интуитивно понятная работа в GenAI позволяет клиентам вне зависимости от уровня подготовки настраивать агентов с доступом к надёжным конвейерам данных и многоагентным командам.

DigitalOcean GenAI позволяет компаниям создавать чат-боты на основе базовых моделей сторонних поставщиков (Anthropic, Meta✴, Mistral и др.) для анализа документов, семантического поиска, создания изображений и т.д. Платформа создана так, чтобы быть независимой от фреймворков. Платформа упрощает и создание агентов, специфичных для конкретных вариантов использования, привнося контекстные данные в базовые LLM.

Клиенты смогут не только извлекать неструктурированные данные из файлов, но и структурированные данные из баз данных или обращаясь к API, чтобы дополнять подсказки и задействовать Retrieval Augmented Generation (RAG), обеспечивая агентам доступ к точной и актуальной информации. С помощью вызываемых функций можно дописать кастомный код, чтобы расширить возможности своего агента.

Источник изображения: DigitalOcean

Встроенные ограничители (guardrails) позволяют повысить достоверность ответов агента, помогая отфильтровывать неправильные или ненадлежащие результаты. А возможность частных подключений и наличие готового интерфейса для чат-ботов упрощают запуск этих агентов на веб-сайте клиента. В будущем появится возможность обращаться к источникам данным по URL, поддержка конвейеров AgentOps и CI/CD, тонкая настройка моделей и многое другое.

Стартап Render Services объявил о привлечении $80 млн инвестиций в рамках раунда финансирования серии C, доведя общий объём финансирования до $157 млн. Раунд возглавила Georgian. Также в нём приняли участие 01A, Avra наряду с существующими инвесторами Addition, Bessemer Venture Partners, General Catalyst и South Park Commons Fund. Также стартап сообщил о том, что количество разработчиков, использующих его платформу, превысило 2 млн.

Как утверждает Render, с помощью его платформы разработчикам гораздо проще запускать приложения, сервисы и веб-сайты в облачной инфраструктуре по сравнению с традиционными платформами, такими как AWS. Платформа Render устраняет необходимость для разработчиков разбираться со сложными конфигурациями и настройками облачных инфраструктур. Она автоматизирует рутинные задачи по управлению инфраструктурой, позволяя разработчикам сосредоточиться исключительно на своих приложениях. Разработчикам достаточно подключить свой репозиторий GitHub или GitLab, и платформа тут же предложит команды для развёртывания приложения.

Источник изображения: Render

Основатель и гендиректор Render Анураг Гоэл (Anurag Goel) сообщил SiliconANGLE, что платформа компании гибче, чем традиционные бессерверные решения, и способна поддерживать гораздо более полный набор рабочих нагрузок, в том числе выполняющихся очень долго. Он отметил, что многие клиенты переходят на платформу Render с других платформ, потому что им нужно использовать LLM API и веб-сокеты, а традиционные FaaS и бессерверные решения не отвечают их потребностям.

В числе преимуществ Render Гоэл назвал более быстрое развёртывание и возможность простого масштабирования. Render автоматизирует необходимую подготовку инфраструктуры, не заставляя разработчиков возиться с настройкой Kubernetes или других сред, говорит глава стартапа. Также у платформы Render ниже стоимость владения по сравнению с конкурентами.

Хольгер Мюллер (Holger Mueller) из Constellation Research отметил, что Render облегчает работу разработчиков, поскольку большинство публичных облаков стали невероятно сложными в управлении и эксплуатации. «Управление инфраструктурой отнимает у разработчиков много времени и ресурсов, поэтому приятно видеть альтернативу, такую как Render, которая справляется с этим», — заявил аналитик.

Хотя на китайском рынке ИИ-ускорителей по-прежнему доминирует NVIDIA, Huawei намерена отнять у неё значительную его долю. Для этого китайский разработчик намерен помочь китайским ИИ-компаниям внедрять чипы собственного производства для инференса, сообщает The Financial Times. Для обучения ИИ-моделей китайские производители в массе своей применяют чипы NVIDIA. Huawei пока не готова заменить продукты NVIDIA в этом деле из-за ряда технических проблем, в том числе из-за проблем с интерконнектом ускорителей при работе с крупными моделями.

Предполагается, что в будущем именно инференс станет пользоваться большим спросом, если темпы обучения ИИ-моделей замедлятся, а приложения вроде чат-ботов будут распространены повсеместно. Если инференс нужен постоянно, то к обучению ИИ-моделей прибегают лишь время от времени. По словам сотрудников и клиентов Ascend, компания сосредоточена на менее сложном, но, возможно, более прибыльном пути. Но поскольку ускорители NVIDIA и Huawei используют разные программные экосистемы, последняя предлагает бизнесам ПО для обеспечения совместимости.

Продукция Huawei продвигается при поддержке китайского правительства, внутри страны именно эта компания считается наиболее серьёзным конкурентом NVIDIA. И хотя китайские компании всё более ограничены в доступе к аппаратным решениям NVIDIA из-за санкций, они охотно покупают даже урезанные чипы H20, которые всё равно считают более предпочтительным вариантом, чем китайские альтернативы.

Источник изображения: Huawei

Задача Huawei — убедить разработчиков отказаться от платформы CUDA, во многом благодаря которой NVIDIA и смогла добиться успеха на рынке. От проблем с ПО страдает и AMD — по словам экспертов, именно оно не позволяет раскрыть потенциал ускорителей Instinct MI300X. Впрочем, готовящаяся к релизу версия Huawei Ascend 910C должна решить эти проблемы, поскольку новое поколение ускорителей получит ПО, упрощающее работу разработчиков. Тем временем китайские Baidu и Cambricon добились определённых успехов в разработке собственных ИИ-ускорителей, а ByteDance обратилась за помощью к Broadcom.

По оценкам SemiAnalysis, в прошлом году NVIDIA заработала $12 млрд на продажах своей продукции в Китае, поставив 1 млн ускорителей H20, т.е. вдвое больше, чем Ascend 910B. Впрочем, отрыв, по словам экспертов, быстро сокращается, поскольку Huawei наращивает производство. Отмечается, что рост доли Huawei на рынке ИИ-ускорителей отчасти сдерживается лишь недостаточным предложением её продукции. По мнению экспертов, наращивать производство будет трудно, поскольку Китайское вынужден использовать устаревшее оборудование из-за санкций США.

Специализация на инференсе может свидетельствовать и об особом векторе развития китайских ИИ-систем, отличающемся от американского. Китайские компании не участвуют в гонке Meta✴, xAI и OpenAI по созданию мегакластеров на базе решений NVIDIA. Зато большей эффективности в задачах инференса можно добиться даже с более слабыми чипами. Снизив стоимость работы ИИ-моделей, можно будет сохранять конкурентоспособность даже в таких условиях.

В прошлом месяце китайский стартап DeepSeek представил ИИ-модель V3, обеспечивающую низкие затраты на обучение и инференс в сравнении с сопоставимыми по возможностям моделями из США. DeepSeek утверждает, что Huawei успешно адаптировала V3 к Ascend. Ранее сообщалось, что Huawei охотно направляет к клиентам специалистов для помощи с переходом с NVIDIA на Ascend.